请教：为何Stata的回归计算速度比SAS慢那么多呢？

2013-9-19 17:55:57

“大概10来年，每年有2000个左右的公司，就这么两万来个回归”——每个“公司年”一个回归吗？？

把程序（最好还有部分数据）放出来啊，坛友们才能帮你给出改进的方向。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-9-19 20:07:52

我用Stata连续跑9万个回归并预测（3万events，分别用market model，Fama-French 3-factor model，Fama-French 4-factor model计算abnormal returns）也没用1小时。这么笼统的说，没办法比较Stata和SAS哪个快的。按道理来说，应该Stata快，一个在内存里跑，一个靠硬盘，内存和硬盘哪个快呢？还是把程序写出来，要不然别人没办法帮你看的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-9-20 20:31:20

xingxf 发表于 2013-9-19 20:07
我用Stata连续跑9万个回归并预测（3万events，分别用market model，Fama-French 3-factor model，Fama-Fren ...

谢谢！
我的程序如下;

forvalues i=1(1)12  {
forvalues j = 1/2300 {
qui {
   cap reg W L2C LC C FC F2 if (year==`i' & id==`j')
   cap predict ttt if e(sample),resid
   cap replace www = ttt if e(sample)
   cap drop ttt
}
}
}

麻烦你看看一下是咋回事？谢谢~！

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-9-20 20:51:38

voodoo 发表于 2013-9-19 17:55
“大概10来年，每年有2000个左右的公司，就这么两万来个回归”——每个“公司年”一个回归吗？？

把程序 ...

程序已经放出来了麻烦你给看看谢谢~！

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-9-20 21:18:35

carweed 发表于 2013-9-20 20:31
谢谢！
我的程序如下;

其实能不用循环最好不用，循环本身是比较费时间的。如果就是回归的话根本用不着循环，直接reg是可以和bys一起使用的:
bys year id: reg W L2C LC C FC F2
看你的意思还要生成residual，
可以用statsby _b, by(year id) clear: reg W L2C LC C FC F2
这样会生成新的dta文件，包含所有回归的系数，有了这些系数，不就可以做预测了么。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

2013-9-20 22:34:08

xingxf 发表于 2013-9-20 21:18
其实能不用循环最好不用，循环本身是比较费时间的。如果就是回归的话根本用不着循环，直接reg是可以和bys ...

statsby _b, by(year id) clear: reg W L2C LC C FC F2

真是异常的巧妙啊！！！佩服！！！

我一开始之所以没有用by语句，就是因为要生成残差。你这个方法就可以了多谢多谢！

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-9-20 23:44:00

xingxf 发表于 2013-9-20 21:18
其实能不用循环最好不用，循环本身是比较费时间的。如果就是回归的话根本用不着循环，直接reg是可以和bys ...

正解！先statsby ...，然后merge ...，然后gen ...。我相信应该不用半个小时就能搞定！

（ps：个人认为，statsby的底层也是循环，只是statsby命令肯定经过优化，其执行效率要比我们"随意"写的forval ... 循环来得高。）

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-9-21 00:40:42

voodoo 发表于 2013-9-20 23:44
正解！先statsby ...，然后merge ...，然后gen ...。我相信应该不用半个小时就能搞定！

（ps：个人认为 ...

恩两万个回归，statsby估计也就15分钟？应该差不多吧。

可以看看statsby的ado，哈哈

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-9-21 08:49:44

xingxf 发表于 2013-9-21 00:40
恩两万个回归，statsby估计也就15分钟？应该差不多吧。

可以看看statsby的ado，哈哈

已经一个小时了还没有算出来。。。
这是怎么了？莫非跟stata的版本有关吗？我的是11.2MP

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-9-21 08:50:53

voodoo 发表于 2013-9-20 23:44
正解！先statsby ...，然后merge ...，然后gen ...。我相信应该不用半个小时就能搞定！

（ps：个人认为 ...

光statsby.... 就1个小时了
不知道为啥这么慢呢？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-9-21 09:06:49

xingxf 发表于 2013-9-21 00:40
恩两万个回归，statsby估计也就15分钟？应该差不多吧。

可以看看statsby的ado，哈哈

算出来了大概用了1个半小时计算效率提高了不少！谢谢~！

但是还是达不到你说的15分钟的水平莫非跟软件的版本有关系？11.2MP

计算过程中，CPU使用率一直在50%以下

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-9-21 09:29:08

carweed 发表于 2013-9-21 08:50
光statsby.... 就1个小时了
不知道为啥这么慢呢？

你的dta文档是否很大？是否包含很多非必须变量？
建议你可试试（大致思路）：
1. 仅保留回归中必须使用到的变量；
keep year id W L2C LC C FC F2

2. 将每一年度的数据存为一个数据集如_data_1.dta, _data_2.dta, ...：
forv i = 1/12 {
preserve
keep if year == `i'
save _data_`i'.dta, replace
restore
}

3. 就每一年度的数据集就每一公司id进行回归：
forv i = 1/12 {
use _data_`i', clear
statsby _b, by(id) clear: reg W L2C LC C FC F2
gen year = `i'
save _b_`i'.dta, replace
}

4. append回归系数数据集
use _b_1.dta, clear
forv i = 2/12 {
append using _b_`i'.dta
}
save _b.dta, clear

5. merge ..., gen ..., erase ...

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

dxystata

2013-9-21 09:49:20

xingxf 发表于 2013-9-20 21:18
其实能不用循环最好不用，循环本身是比较费时间的。如果就是回归的话根本用不着循环，直接reg是可以和bys一起使用的:
bys year id: reg W L2C LC C FC F2
看你的意思还要生成residual，
可以用statsby _b, by(year id) clear: reg W L2C LC C FC F2
这样会生成新的dta文件，包含所有回归的系数，有了这些系数，不就可以做预测了么。

statsby _b, by(year id) clear: reg W L2C LC C FC F2
能否解决一下具体运行过程？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

dxystata

2013-9-21 09:55:55

sysuse auto, clear
statsby _b, by(foreign) : reg price mpg
不用clear也可以得到同样的结果啊！

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-9-21 15:07:11

voodoo 发表于 2013-9-21 09:29
你的dta文档是否很大？是否包含很多非必须变量？
建议你可试试（大致思路）：
1. 仅保留回归中必须使用 ...

恩！确实数据集比较大，里面有很多回归不用的变量。

你这个思路应该能大大加快运算速度！很厉害！！点赞！！！

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-9-21 15:21:31

carweed 发表于 2013-9-21 15:07
恩！确实数据集比较大，里面有很多回归不用的变量。

你这个思路应该能大大加快运算速度！很厉害！！点 ...

你有空试一下，再告诉大家结果啦！

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-9-21 15:35:00

voodoo 发表于 2013-9-21 09:29
你的dta文档是否很大？是否包含很多非必须变量？
建议你可试试（大致思路）：
1. 仅保留回归中必须使用 ...

我表示：太！快！了！
最初要7个多小时，改进到4个小时，到xingxf的1个半小时，你这个只要5！分！钟！太牛了！膜拜！

谢谢大家的帮助~！

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-9-21 16:03:52

voodoo 发表于 2013-9-21 15:21
你有空试一下，再告诉大家结果啦！

试完了吓死人的速度不到五分钟！

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-9-21 18:21:56

dxystata 发表于 2013-9-21 09:55
sysuse auto, clear
statsby _b, by(foreign) : reg price mpg
不用clear也可以得到同样的结果啊！

结果肯定是一样的啊。clear是清空内存用的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-9-21 18:22:32

dxystata 发表于 2013-9-21 09:49
statsby _b, by(year id) clear: reg W L2C LC C FC F2
能否解决一下具体运行过程？

具体运行过程是什么意思是？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-9-21 18:23:28

carweed 发表于 2013-9-21 09:06
算出来了大概用了1个半小时计算效率提高了不少！谢谢~！

但是还是达不到你说的15分钟的水平莫 ...

你内存多大？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-9-21 18:25:49

carweed 发表于 2013-9-21 09:06
算出来了大概用了1个半小时计算效率提高了不少！谢谢~！

但是还是达不到你说的15分钟的水平莫 ...

建议你用Stata 12，论坛里有的。我觉得11和12就不是一个档次的软件。尤其在内存管理上，11还得set memory吧，12有多少内存吃多少，不用set了。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-9-21 18:34:03

carweed 发表于 2013-9-21 15:35
我表示：太！快！了！
最初要7个多小时，改进到4个小时，到xingxf的1个半小时，你这个只要5！分！钟！太 ...

voodoo强调了清理数据的重要性，加内存也比不上优化程序。下次做计算前别忘了清理无用数据，哈哈。一般我做计算前都会keep或drop。能考虑到voodoo提的分类处理就更好了。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-9-21 18:37:52

xingxf 发表于 2013-9-21 18:34
voodoo强调了清理数据的重要性，加内存也比不上优化程序。下次做计算前别忘了清理无用数据，哈哈。一般我 ...

数据清理真的很重要！机器内存6G 但是我发现实际计算速度跟内存大小没太大关系
清理数据非常重要·！

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-9-21 19:36:46

carweed 发表于 2013-9-21 18:37
数据清理真的很重要！机器内存6G 但是我发现实际计算速度跟内存大小没太大关系
清理数据非常重要·！

Stata是把数据读到内存里，在内存里处理，内存大的好处是可以处理比较大的数据，举例来说，我目前处理的数据，一个文件就6G，还是清理了以后的，内存小根本跑不了。
另外，还是特别建议你使用Stata12，感觉和11差距真的很大。现在Stata已经更新到13了，感觉又是很大的进化。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-9-22 09:07:08

xingxf 发表于 2013-9-21 19:36
Stata是把数据读到内存里，在内存里处理，内存大的好处是可以处理比较大的数据，举例来说，我目前处理的数 ...

谢谢你的建议！
我之所以赖着stata11不放，有两个原因：
1、stata12没有找到MP版的
2、11里面有很多我下载的外部命令，重新装个12或者13还得重新下载，好麻烦啊

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝