我觉得吧，跑大数据其实本质上在于你如何写你的R程序。R可以处理大数据，但是前提是你要花很多心思去使用合理的方式，同时对R的运算和你使用的模型方法有深入的理解。比如删减不必要的变量，避免使用for循环，合理运用数据结构等等。不过你的10G数据不会在每一步计算都同时使用吧，需要根据你每一步计算的形式进行一定的优化。对于数据集整体的运算和变化，可以的话尽量在数据库的层面用SQL处理，R只负责最后的运算。如果SQL本身还不够灵活，可以用python在中间连接，python从数据库承接数据，做大处理，最后运算放在R里面。总之就是具体情况具体分析。通常来说，处理这么大的数据，很多时候一些常用的package是不行的，因为它们没有针对你的数据进行特殊优化，所以可能不够高效。

有两个帖子可以提供一点小的改进，但是主要还在与lz具体的问题和数据：
https://bbs.pinggu.org/thread-2286673-1-1.html

https://bbs.pinggu.org/thread-2279782-1-1.html

多谢回复，看来如果买不起Revolution的话，只能是几种工具并行了。。。。

Revolution有多贵啊？

卡在把数据从数据库读入R的步骤? 之前看过些资料, 貌似R直接通过api读数据库的效率, 不如把数据库dump成txt再read.table的效率. 可以试试先把数据库dump出来, 再用R读文本文件.

我的1G的txt数据都加载不出来，正在找方法