全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 SAS专版
9769 23
2009-05-04

在普通的PC机上,用SAS处理大容量数据,速度还是太慢。比如处理A股市场的分笔交易数据(1999~2007),大概300多G,有时算几个指标需要几天,太痛苦了。

不知道有没有好的解决方法。

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2009-5-4 17:26:00
等着更加强劲的CPU出来吧,呵呵
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-5-4 19:25:00
300G,差不多有几千万条记录了,如果只有几个字段的话,所以一般的PC机无法处理很正常.
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-5-4 19:37:00

这300多G的分笔交易数据并不仅仅是一个文件,而是进行了分割,某个交易所某个月(甚至是半个月)的全部公司的数据归集为一个文件,即使如此,在2007年,沪市半个月的数据也会超过4G。我在处理数据时,是以这种小文件为处理单元,不停循环处理的。

可能SAS并不适合处理这种数据,有高手说KDB+Q是一个好的解决方案,不过这意味着又得学习一个新语言。

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-5-4 19:39:00

呵呵,关键是SAS需要把所有的数据都读入内存,你们怎么处理不听跳出来的,保存等对话框,谢谢

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-5-4 19:58:00

用oracle ,现在台式机装ORACLE,还是可以的,ORACLE+SAS,大型的计算,我都是加ORACLE里面实现的,

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群