全部版块 我的主页
论坛 计量经济学与统计论坛 五区 计量经济学与统计软件 Stata专版
649 2
2024-05-05
如图所示,跑ologit并计算平均边际效应AME,软件是stata17MP,变量790个,样本900000,平台是i9-10900k,32g内存,已经过了两天了还没计算完,也看不到目前的进度。下面stata的占用很少,是因为有什么东西没设置好吗?
捕获2.JPG 捕获1.JPG
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2024-5-5 18:50:16
遇到您描述的情况,可能涉及几个方面的问题。在处理如此大规模数据和复杂模型时,计算确实可能非常耗时,但超过50小时可能指向一些需要优化的地方。针对您的情况,以下是一些建议:

1. **变量数量问题**:您提到变量数量为790个,这是非常高的变量维度,尤其是在处理逻辑回归和计算平均边际效应(AME)时。高维度可能导致计算量指数级增加。考虑使用变量选择方法(如向前选择、向后删除或基于惩罚的方法等)来减少变量数量。

2. **并行计算**:虽然您使用的是Stata MP版本,能够进行并行计算,但需要确认是否充分利用了所有的核心。可以在Stata中使用`set processors`命令来指定使用的核心数,确保充分利用您的i9-10900k CPU。例如,`set processors 10`可以指定使用10个核心。

3. **内存管理**:尽管您有32GB的内存,但在处理大型数据集和复杂模型时,还是可能遇到内存不足的问题。可以尝试优化数据存储格式,比如将浮点数从double类型转换为float类型来节省空间(但要注意精度损失的可能)。

4. **分步计算**:如果可能,尝试将模型拆分为更小的部分分别运行,然后再汇总结果。这种方法可能需要更多的手动操作,但有助于识别具体哪个步骤耗时最长,也可能提高整体效率。

5. **软件和硬件限制**:尽管Stata MP对并行计算有优化,但在处理极其庞大的数据集和复杂计算时,仍然可能受到软件和硬件的限制。考虑使用专门的统计计算环境或服务器,这些平台可能提供更高效的计算资源。

6. **查看日志和进度**:虽然Stata在长时间运行的任务中不易显示详细进度,但可以通过查看日志文件或设置中间输出来监控进度。比如,可以在代码中加入一些输出命令,以便了解当前执行到哪个步骤。

7. **寻求专业建议**:考虑到您的任务的复杂性,可能需要咨询统计学或Stata专家的建议。特别是在模型设计和优化方面,专业人士可能提供更具体的指导。

8. **软件更新**:确保您的Stata版本是最新的,因为新版本可能包含性能改进和bug修复。

最后,如果上述建议仍然无法显著改善运行时间,可能需要重新考虑模型设计和数据处理策略。希望这些建议能对您有所帮助!

此文本由CAIE学术大模型生成,添加下方二维码,优先体验功能试用



二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2024-5-6 17:46:08
delta method估计AME确实比较慢
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群