我有大数据 正头疼怎么导进来呢

Some simple algorithms can be done so. For example, simple OLS regression, which relies on solving the normal equation is a typical case. Now suppose you have an extremely large table, say 10^15 recoreds and 500 variables, you can construct the matrix of X and Y corresponding to normal equation while you read in the data sequentially because the normal equation system ends up with only summation and summation of cross products. After passing all records through, you obtain enough information of sufficient statistics and what you need to do is simply to apply a sweep operator to the 502-by-502 normal equation matrix.

Of course, since the data is so huge that you will have to distribute it over thousands of computers and process the summation in parallel.

The so-called Stream Algorithm, originally designed for extremely long tables, also looks promising to solve your puzzles. Under this algorithm, you may not even need to read in all data in order to obtain a strongly consistent result. But it needs custom design per specific case exploiting special stochastic characteristics of the data and also depends what you want to do. There is no universal solution.


1# 爱萌

数据挖掘应该是sas高端了吧

刚入门，不太懂，帮顶了！

不要把数据都读到内存里就好了，需要的时候读入，不需要的时候就释放掉空间。当然如果数据需要计算多次，那就需要改改算法，尽量只读一次来算

我也很关注这种性能问题！

我还没处理过海量的数据..很多书上不是说hash只是把数据的地址映射到内存，再通过地址来访问数据...不知道这样是不是会快点..？求解...

好问题！！！

怎么我觉得很简单呀，读入数据太简单不过了，直接写入代码不就可以了，
libname aa 'e:\sasdata';
data aa.data;
file 'E:\sasdata\data.txt';
input name$ age gender$;
file print;
put name $ age gender$;
run;
是不是要这样的手动输入呢？
我觉得你们那些问题都可以用代码实现。
libname aa "e:\sasdata"
data aa.class
input name $ age gender$;
cards;
张涛 4 男
   。
   。
run;
proc print;
run;
如果从文件中读取，那也不用多说了，你们应该知道，我就不班门弄斧了!

128# sophiafinn 大数据我知道怎么导入，找我就行了，你那是什么文件格式的？

赫赫, 偶的处理级别没这么HUGE,因此除有时报错外,SAS基本可以处理. 但要本质解决这个问题, 恐怕是IT或者算法的问题了.  
本质上处理起来必须用内存缓冲技术,即要用到时分块地进入内存, 不用时存入临时文件. 那么接下来的问题就是如何处理分块矩阵拉,本质上任何算法都是矩阵运算,因此所有算法都要相应地为分块矩阵服务.比如原来简单的矩阵相乘, 如果分块计算,然后复原就困难点拉. 如果是特征值运算,那算法的复杂性就成倍上升.
其次是IT技术,比如多CPU处理, 分机协同处理. 偶不是很懂这些.
但本质仍然是算法. 比如稀疏矩阵就要用特殊算法才可行.
说得再理论点, 关键还是看你要解决的问题, 如果本身是NP问题, 估计再好的算法也无能为力了.

并行可以不？

SAS本来就是分块读入的啦。

尽管这个问题并不是对所有人来说都很重要，但对于提高我们的编程技巧很有用处，顶!!!!!

不懂，每个人都说了，说的那么多，怎么看啊？会的发言都不知道在哪里，能不能把有意义的发言清楚地、方便的展现给大家啊？我们一进来就可以看到，不用一页页的看

不太懂sas，先mark一下。

sas菜鸟来学习的

好问题，望赐教

直接把ORACLE 的数据库连上 SAS
是可以的

我建议你读大数据两的文件可以用infile fnm truncover recfm=f lrecl=110 firstobs=2 OBS=第多少条;/*拆分读区文件
，最后一个写成infile fnm truncover recfm=f lrecl=110 obs=开始第多少条;/*一直到结束*/
，然后多了SAS脚本并行跑，生成同一个数据集，要么结合你的环境加入insertbuff=

如果有需要可以给我发邮件:lqxiying@163.com

我几乎没有遇到需要将数据全部读入内存处理的情况，至少在生产过程当中是这样。
如果必须完全读入内存， 那为什么不用R，STATA?

好厉害啊