全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 R语言论坛
12320 16
2015-01-20
悬赏 3 个论坛币 已解决
SAS数据量太大,20个G左右,R能读取进来吗?我知道有个ff包可以将数据读到硬盘上,但是好像没有函数可以读SAS格式的数据,求高人指点

最佳答案

512002855 查看完整内容

不一样,R是将所有数据放在内存中操作的,数据库则是将数据存放在硬盘上的。 用R 处理20G的数据,建议你将电脑的内存扩大到32G。 如果可以将数据导入数据库,用SQL也可以做很多分析,然后用数据库随机抽一些样本,选一些比较好的指标,将数据量缩小后即可用R跑模型。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2015-1-20 17:22:24
fengw417 发表于 2015-1-21 10:02
谢谢您的回答,我还有个疑问,就是导入数据库,那数据不还是20G吗,再导入R应该还是不行吧
不一样,R是将所有数据放在内存中操作的,数据库则是将数据存放在硬盘上的。

用R 处理20G的数据,建议你将电脑的内存扩大到32G。

如果可以将数据导入数据库,用SQL也可以做很多分析,然后用数据库随机抽一些样本,选一些比较好的指标,将数据量缩小后即可用R跑模型。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2015-1-20 19:22:32
先把数据输出成csv格式,然后就可以用ff进行处理了。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2015-1-20 21:55:19
20G的数据输出成CSV格式,也有点难度。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2015-1-21 00:59:28
或者将数据导入数据库(sqlite或者mysql),然后用相应的R包进行存取。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2015-1-21 09:29:16
1.foreign包中的 read.ssd()函数,Hmisc包中的sas.get()函数,可以读取SAS数据集。
2.用proc export将SAS数据集保存为逗号分隔的文本文件,再用read.table()读取。
3.用Stat/Transfer软件将SAS数据集转换为R数据文件。

-------------
还有个问题,你电脑的内存多大?20G的数据被R读取,把内存撑爆,死机的可能性非常大。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群