全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 R语言论坛
11747 13
2016-03-01
推荐一本云计算的书:
https://bbs.pinggu.org/thread-3574343-1-1.html
推荐拿磁盘当内存用的ff包:
http://ff.r-forge.r-project.org/
RevoScaleR包:
http://blog.revolutionanalytics.com/2011/05/big-data-analysis-in-revolution-r.html

---------------------------------------------
最近利用文本数据做关联分析,发现内存不够。由于问题比较特殊,不适合进行抽样。请问如何解决内存不够的问题?比如程序会产生50G的数据,且无法优化、分步,64G的内存条太贵买不起,我技术比较菜鸟,没有接触过大数据,请问:
1.是否有利用电脑磁盘替代内存的方法?
2.云计算是否可以解决?如果有,R如何操作?





二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2016-3-1 10:10:17
1.内存不够,先优化算法,看能否分步进行或者分块进行。
   换用别的存储方式也是可行的,比如用data.table而不是data.frame等
2.硬件方面,可以加内存条。

3.利用电脑磁盘,这个只有在linux系统中利用swap空间可以做到,windows没有尝试过。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2016-3-1 11:53:02
jiangbeilu 发表于 2016-3-1 10:10
1.内存不够,先优化算法,看能否分步进行或者分块进行。
   换用别的存储方式也是可行的,比如用data.tabl ...
谢谢提醒,已经修改问题的问法
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2016-3-1 15:19:38
云计算可以解决吧,买服务器,在服务器上跑
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2016-3-1 21:27:09
Microsoft Azure有专门的跑Machine Learning的机器Azure ML以及其他Data Science相关的技术平台,非常牛逼
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2016-3-1 22:08:30
太酷了
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群