全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 R语言论坛
4685 4
2016-05-25
用R读取一个 1.9G 的 sas7bdat 文件(1700万行,18列),我笔记本电脑 8G 内存,i7-6700HQ,64位win10 家庭版,硬盘也是SSD,按理说硬件是足够的。而且上个月刚买的电脑,应该不存在电脑问题。

我用sas7bdat数据包来读取数据文件,
用的命令也是普通的  mydata<-read.sas7bdat("c:/rdata/xxx.sas7bdat")

一开始R使用内存一路飚到 4.5G 左右,后来又下降慢慢稳定到 2.6G,
CPU使用率一直保持在17%左右。

但是问题是等了30分钟,R界面鼠标一直在画圈...

我试了好几次,都这样,我R版本是3.3.0,
也试了基于3.2.4 R 的Revolution R open,情况是一样的。

有几个问题想请教大家:
1. 有人试过R读取大体积sas7bdat文件吗,效率大概怎么样?
2. 要怎么加速R读取大体积sas7bdat文件的效率?

多谢大家。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2016-5-25 07:45:26
nothk 发表于 2016-5-25 05:27
用R读取一个 1.9G 的 sas7bdat 文件(1700万行,18列),我笔记本电脑 8G 内存,i7-6700HQ,64位win10 家庭版 ...
理论上应该能读,具体这么大的没试过,我一直用sas,对硬件要求不高
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2016-5-25 08:06:37
yunnandlg 发表于 2016-5-25 07:45
理论上应该能读,具体这么大的没试过,我一直用sas,对硬件要求不高
刚我等了一个多小时,R界面上鼠标指针还一直在画圈...忍不住就关掉了...

我8G内存是够的,cpu 硬盘也ok...我估计是sas7bdat包的问题,但sas7bdat包应该是最方便的了,打开体积比较小的数据还是挺快的。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2016-5-25 11:23:15
nothk 发表于 2016-5-25 08:06
刚我等了一个多小时,R界面上鼠标指针还一直在画圈...忍不住就关掉了...

我8G内存是够的,cpu 硬盘也o ...
实在不行建议换其他格式试试,要快的话用stata运算最快
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2019-2-21 11:15:02
@nothk 你好,正好一个朋友也遇到同样的问题。

最后发现是包的问题,用haven这个包就可以较快速地读取了

安装完haven包后运行下面的语句就可以了

复制代码

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群