全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 SAS专版
8164 13
2012-08-30
求助:我有两个数据集,各1.4T左右。现在想把两个表根据ID、日期合并起来。我把临时文件夹改到了一个200G左右的空盘你。然后用sql去查找、合并。但是每次都会出现SAS utility*** disk  out of source,然后就会中止。我看了一下原始数据,如果我把其中的一下变量的长度缩短的话,会把原始数据的size压缩三分之二左右。如果用data步去改变的话,还算会出现上面的信息。有没有什么方法直接在不把数据读出来,直接改变变量的长度?
先表示感谢!
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2012-8-30 19:25:27
先把数据进行分割。比如按照一个ID或同一时间进行分割,这样匹配数据就是在分割后的数据内进行。系统开销下降很多,估计就可以了。SAS没用过,数据库能处理1.4t的数据吧?我也没试过这么大的。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2012-8-30 19:26:11
再帮顶!
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2012-8-30 21:31:08
nuomin 发表于 2012-8-30 19:26
再帮顶!
谢谢,我尝试过分割。我的电脑资源有限,比较困难。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2012-8-30 21:44:57
用数据库一次读取一万条,这样的操作也不能执行吗?
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2012-8-31 08:40:39
nuomin 发表于 2012-8-30 21:44
用数据库一次读取一万条,这样的操作也不能执行吗?
呵呵,这个可以。不过都搞完的话,估计一个月也作不完。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群