R语言怎么处理大数据集

1469

收藏 2014-12-27

对于大的数据集，R语言是怎么处理，内存没可能不断叠加的吧
例如：计算机内存只有4G，数据集有8G，而且会不断增加，这应该怎么处理，有什么包可以处理大数据集，怎么用
网上有说ff包、bigmemory包可以用，但没看到教我们怎么用

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

2014-12-28 08:07:45

luvtsing 发表于 2014-12-27 22:26
对于大的数据集，R语言是怎么处理，内存没可能不断叠加的吧
例如：计算机内存只有4G，数据集有8G，而且会不 ...

RHadoop

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2014-12-28 08:49:21

我试过的：
增加内存。。。
数据如果只有0，1或者有限几个值，可以存为raw format可以省4-8倍空间，当然需要写Rcpp代码处理，不过不难

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享