经管之家App
让优质教育人人可得
立即打开
爱萌 发表于 2009-6-27 01:09这说明你还没有真正处理过数据邓贵大 发表于 2009-6-26 10:25
我觉得唯有像楼主那样的人材才可以处理无限大~~的数据！
我处理过最多的时候15GB的数据
用服务器和c++ 处理的
我对SAS的爱好决定了,我会思考这个问题
数据记录我见过1700万条记录的数据,不知道怎么用SAS处理,
我总不能什么都用C++写吧
请不要笑话俺,
俺是农村娃,呵呵
marloneusa 发表于 2009-6-24 21:24
22# edwardhuanghz
我觉得这里应当考虑的是模型的计算和优化。
爱萌 发表于 2009-6-30 00:06我也向学习学习。我们经常碰到GB以上的数据，化的时间很长才能处理机条简单的句子。如果是百万级的变量和千万计的纪录，那该如何是好。谢谢。我的地址是abelus 发表于 2009-6-27 15:14
说说数据处理的要求吧，具体要得到啥结果之类的，越详细越好。
我处理过千万条记录级别的数据，SAS完全可以胜任。
想请教你怎么处理的,能不能发一个类似程序到我的wjw84221@yahoo.com.cn
以供研究之用,谢谢,
顺便把你的经验也写一下,
我谢谢您了
marlone.zj@gmail.com
thanks.
420948492 发表于 2009-6-30 16:22
通过看上面的贴好像自我感觉有误区，其实没有必要处理全部的数据，只要能得到近似正确的结果，还收要考虑效率的
统计学给我我们很多思路
一，选取案例，可以采取抽样的方式，实践证明若在原总体数据存在错误（可以是记录错的）的情况下，抽样的效果是要好于总体的。
二，上面说到有1000个变量，统计学，机器学习给我们提供了选择重要变量的方法，足以让我们解决此类问题。
三，没这个必要，今天你能处理GB级的，TB级的呢，数据挖掘给我们很好的借鉴，数据是以难以想象的速度增长的，计算能力虽然也在升级，但而这种升级来自于数据的压力，所以可以预测的说，计算能力感不上数据，何苦呢
fincomputing 发表于 2009-6-21 20:01
我觉得，考虑使用Matlab，R等替代软件，SAS处理大数据量可不是强项，呵呵～～
denver 发表于 2009-7-2 20:34兄弟你正好说反了，MatLAB的强大在于它有很多的工具箱，在每个工具箱中有很多现成的函数，在遇到具体问题的时候，能够最大程度的减少编程的工作。但其运行速度实在不敢恭维。fincomputing 发表于 2009-6-21 20:01
我觉得，考虑使用Matlab，R等替代软件，SAS处理大数据量可不是强项，呵呵～～
R的强大在于package的更新速度很快，很多新的统计算法都能在第一时间得到实现，而且语法规范友好，但与其他软件一样，缺点是处理海量数据不太灵便，因为还是要将数据整体读入内存的，一个解决办法是使用RSQL。
SAS的强大之处正在于对于海量数据的处理上，虽然语法恶心点，所以我用SAS只是为了处理数据而已。
爱萌 发表于 2009-7-5 17:17补充和修正:denver 发表于 2009-7-2 20:34兄弟你正好说反了，MatLAB的强大在于它有很多的工具箱，在每个工具箱中有很多现成的函数，在遇到具体问题的时候，能够最大程度的减少编程的工作。但其运行速度实在不敢恭维。fincomputing 发表于 2009-6-21 20:01
我觉得，考虑使用Matlab，R等替代软件，SAS处理大数据量可不是强项，呵呵～～
R的强大在于package的更新速度很快，很多新的统计算法都能在第一时间得到实现，而且语法规范友好，但与其他软件一样，缺点是处理海量数据不太灵便，因为还是要将数据整体读入内存的，一个解决办法是使用RSQL。
SAS的强大之处正在于对于海量数据的处理上，虽然语法恶心点，所以我用SAS只是为了处理数据而已。
matlab是科学计算软件,不是处理数据的也不是处理统计分析的,在国际会议上SAS的结果是不需要多解释的,而matlab需要,
matlab工具箱很多是懒人的工具不是统计学家或者数据分析专家喜欢的,因为它很难改变一些流程和算法,比如神经网络,我知道他有,但我就是自己要写代码,自己可以随时修改代码以符合我的思想,我可以把原来的随机抽样改为分层随机抽样以适合我的数据.当然这个R也有这种弊端.
同时R作为免费的统计软件,很多方法没有经过时间的考验和理论的证明就要用,这对数据分析人员是非常可怕的事情.因为你根本不知道这个方法会产生什么问题.如果做
金融就意味着可以赢利也可以赔完,这就是模型风险. 而且R的帮助文件没有相关公式或者统计思想,这对学习者是很霸道的.要么必须接受他的算法和思想,相信他是对的,要么你不用它.
SAS,R,matlab都可以处理大量数据,相对来说SAS快一些, 同时SAS具有很多优秀的功能. 语法比较合理,R的语言是仿照SAS的语言.SAS基于C和C++写的,也可以直接利用,而R利用JAVA相对来说速度慢一些.MATLAB我不知道用什么语言写的,估计应该是C
扫码加好友，拉您进群
全部版块
我的主页
