全部版块 我的主页
› 论坛 › 数据科学与人工智能 › 数据分析与数据科学 › R语言论坛
R请问出现错误,9G的向量无法分割，除了是memory不够，还有其他原因吗？
qiustata
2320 9
2012-04-20
是这样的 做一个数据分析 前面还好好的 后来要算aic 然后弄了个glm

结果就出现9G的向量无法分割 网上查了一下说是memory不足，但我看了我这个有16g阿，怎么会不够啊
我用memory.limit查了一下也是16g左右，请问还会有其他原因吗？

在memory不足的假定下，我在做aic之前还用了rm(）删了一些不需要的代入项，可是最后还是出现9g向量无法分割，一点都没变小阿，跪求高手，搞了一下午，转了10多次了，gc什么也用了 一点都没变化啊

二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复
ltx5151
2012-4-21 04:30:46
应该就是内存不够了。这里说的9g是指无法再多分配9g的空间。因为你的机器在之前的进程里应该分配了很多内存，比如你之前调用的程序已经分配了极大的空间来储存相关的变量。
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

qiustata
2012-4-21 14:33:56
ltx5151 发表于 2012-4-21 04:30
应该就是内存不够了。这里说的9g是指无法再多分配9g的空间。因为你的机器在之前的进程里应该分配了很多内存 ...
谢谢阿 那我用rm删了一点不需要的 还是不变啊 会瞬间暴涨么
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

qiustata
2012-4-21 14:42:57
ltx5151 发表于 2012-4-21 04:30
应该就是内存不够了。这里说的9g是指无法再多分配9g的空间。因为你的机器在之前的进程里应该分配了很多内存 ...
我用rm删了一点不用的大数据 还是没变
还是说9.2G向量无法分割
这是为什么？？？？？

一般碰到内存不够大家怎么办？

这已经是最好的电脑了 最好的r了
现在阶段找不到更大的了
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

ltx5151
2012-4-21 16:05:10
qiustata 发表于 2012-4-21 14:42
我用rm删了一点不用的大数据 还是没变
还是说9.2G向量无法分割
这是为什么？？？？？
通常来说，那些占内存的变量是你的程序在运行中产生的，这跟你删除一些自己的已知变量关系不大。有可能你的程序在执行时会有一些中间变量。

可能可行的处理方式：
（1）改一下程序，查看那些地方执行效率不够高，换用更加高效的方式。有没有online的算法，或者可以并行化的执行方式。程序中有没有产生一些中间变量，是否有更节省空间的方式运行，或者可否利用一些特殊技巧。比如矩阵运算，有没有特殊结构，sparse，low rank，或者特殊分解。这个方法可能会比较难，取决于你对于数值计算的理解，也取决于问题本身是否有改进的空间。
（2）不要用个人电脑，拿到server上面跑.
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

qiustata
2012-4-24 17:19:36
ltx5151 发表于 2012-4-21 16:05
通常来说，那些占内存的变量是你的程序在运行中产生的，这跟你删除一些自己的已知变量关系不大。有可能你 ...
谢谢 问题已解决，的确是运行中产生的 该变量应该定义为名义，文字类型，却定义错为连续数字

谢谢 我这个就是sever上跑的 普通电脑没有16g德巴
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

微信QQ空间QQ微博
扫码加好友，拉您进群
各岗位、行业、专业交流群