分而处理的有
我，爱萌
[gzjb]        Divide and Control, or use other software for pre-process.

[albert52t]        这的确是一个问题，SAS确实要面临这样的问题，而且不是很好解决。我自己遇到过，只能把数据劈分，分块来。
查了些国外的SAS使用者 ，给出了些建议，但似乎没有根本的解决办法。
[kaizhang] 我处理过80G的数据。我是用SAS软件把数据切割成小的CSV文件，然后利用SQL语言进程处理

[yangchiran]        你可以把这个数据文件拆成几分，并行执行处理
LIBNAME test oracle user=用户名 password=密码 path=数据库名;
%let f1 = 'd:\test\20101028.dat;
filename filec "(&f1)";
data testda ;
  
        infile filec recfm=f lrecl=2000 firstobs=1 obs=10000 ;
        input           @1     id                 $10.
                          @11   name          $30.
                          @41    add             $40.
                                              ;
        run;
/* 第二个并行的SAS*、
LIBNAME test oracle user=用户名 password=密码 path=数据库名;
%let f1 = 'd:\test\20101028.dat;
filename filec  "(&f1)";
data testda ;
  
        infile filec recfm=f lrecl=2000 firstobs=10001obs=20000 ;
        input           @1     id                 $10.
                          @11   name          $30.
                          @41    add             $40.
                                              ;
        run;

[oloolo] Of course, since the data is so huge that you will have to distribute it over thousands of computers and process the summation in parallel.

The so-called Stream Algorithm, originally designed for extremely long tables, also looks promising to solve your puzzles. Under this algorithm, you may not even need to read in all data in order to obtain a strongly consistent result. But it needs custom design per specific case exploiting special stochastic characteristics of the data and also depends what you want to do. There is no universal solution.


[chenjung0825]    1. 分层存储。比如南方销售数据和北方数据分开存入两个数据集。本质上是筛选Obsercation。
2. 按变量分类存储。通过Primary key variable将不同的数据集联系起来。本质上是筛选Variable。

其他软件先处理，而后用SAS的有
[chengducde]        前处理千万级或更多的变量或记录可以用Perl或Python，处理成自己理想的数据格式以后再转入SAS运算。我处理过20G 左右的文本文件，应该没有什么问题。补充一下，用的是Ubuntu 64位 Linux系统。

数据库先处理，而后用SAS的有
[edwardhuanghz]        大数据量的处理是放在ORACLE，或者放在GP里面，做完数据处理，再用SAS连到oracle上面处理的，一般来讲，千w级的数据量好像问题也不大吧！
[marloneusa]对[edwardhuanghz]的回复        我觉得这里应当考虑的是模型的计算和优化。

[苗条肥仔] 放在ORACLE上的数据，如果你有权限访问的话，直接在SAS的终端上使用ODBC，然后libname一下ODBC就OK了。。
原来们2太服务器，一台是SQL SERVER 一台是SAS。数据经常是转文本然后在导入。后来用ODBC后就很方便了。。。PS：ODBC好像不需要权限吧。只要你有数据库的访问权限就OK

[abelus]我处理过千万条记录级别的数据，SAS完全可以胜任。

[ludunjian]        我们公司的SAS就是这样做的，SAS直接可以连ORACLE的数据库。可以通过SQL过程把数据同步过去，完成数据的赛选。

[yukiooy]        我觉得可以从这几方面入手:
1.基础设施
既然数据量很大，就需要一个数据库吧，第一可以方便管理，第二可以随时提取出自感兴趣的数据；在这里推荐用DB2 Express-C.有多方面的原因，在此不赘述。很多数据库对数据的缓冲等等已经做的完善了，我觉得我们没有必要再去实现一个数据缓冲过程，况且，我们关注的焦点在于数据挖掘。
2.SAS与数据库接口的熟悉
SAS已经有了与数据库的接口，比如DB2,Oracle,MySQL,Dbase等等，这样更加方便了我们编程来处理数据。所以还是需要先了解SAS怎样与数据库结合，然后编程
3.了解数据库的知识是数据挖掘的一个必经之路
数据挖掘所需的数据量之大，前所未有，所以，学习数据挖掘，最好是具备数据库的知识，你会发现这会在研究中助你一臂之力。
我会在SAS研究板块中上传一篇文章，主要讲了SAS怎样与DB2数据库结合的文章，大家可以参考一下。

利用hash解决这个海量的问题的有

[爱萌] hash 表可以快速处理一些数据,大家也可以关注一下这个


[275769263] 书上hash只是把数据的地址映射到内存，再通过地址来访问数据.

前五种处理的一种结合
[mingchei] 大数据量先group或者抽样

其他，我爱萌认为比较有意思的也发出来：
[jackywolf_2008]        SAS当然可以无限的处理数据，但是你怎么保证你的数据源是无限的数据呢，如果你能保证你的数据源是无限的SAS就可以无限的处理下去。举一个例子，例如你用sas连接到一个数据库上，读取某一个表的数据，该表上有触发器，会随时的往表中写数据，那你就可以用sas中的set的point选项和nobs选项实时的获得该表的记录数，然后用宏写一个死循环就可以了，但是这这样做有意义吗？
[kofsphere]        楼主你要是用了SAS/SQL 就不发这种问题了

对于抽样方法，我个人认为能少用，尽量少用，因为有那么多数据，通过清洗等过程后还剩下多少，说不准。

谢谢楼主分享！

太感谢了

O(∩_∩)O~

谢谢LZ分享。。

谢谢LZ分享。。

不错的。。。。

谢谢楼主经验的贡献

爱盟版主总结的很好，谢谢。印象中，似乎在哪里（人大 or COS，刚才找了一下，没有找到）有一个哥们用SAS或R处理海量数据，他的方法类似于云计算，通过从世界范围内调集空闲的空间来实现海量数据的处理，anyway，这已经超过了我的认知范围了。

谢谢楼主的分享

来学习下了啊

爱萌是论坛里少见的几位高人之一，太厉害了，向你学习

SAS软件不错~

学习。。。。。。

这个相当有用啊。

谢谢，很有用啊

没怎么看懂

看一下，呵呵