关于R的内存以及回归分析样本量的问题

2013

收藏 2020-05-21

各位大神好，最近用R遇到了一些问题，在此请教大家：1、R函数里面的memory.limit()最大能设置到多少？其单位是什么？我看网上说的，一般是64位的电脑的话，能设置到100G，也就是memory.limit(100000)。但是我R里面显示：
> memory.limit()
[1] 1.759219e+13

为什么数值这么大？其单位是什么呢？但是问题在于数值这么大，但还是有很多数据（大概几G的csv）还是读不进来，写不出去。所以请教一下这是为什么呢？

2、如果样本量有几十亿行，跑一个probit回归，R可以跑出来吗？.....如果不行的话，那用什么软件才可以跑出这样样本量的回归呢？

在此先谢谢大家！

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

llb_321

2020-5-21 14:03:10

单位是b，100G大概是1.0e＋11b，所以R的内存设定是够的，按道理你的数据是可以读进去的。但这只是存储的限制，实际上还有运算能力的限制，比如某些回归分析，运算量可能是以变量数为指数的级别，而指数型量级有多夸张你只要想想棋盘放米的故事就明白了。所以要顺利运算，一是考虑降维，二是优化程序，三是选择合适的实现代码，比如R运算速度慢，就要考虑用c＋＋或者julia之类的语言。