大家来讨论一下,SAS怎样才能读入就处理,这样能够处理无限大的数据

imzbxt

2011-11-26 06:42:07

找个大的移动硬盘，作为虚拟内存，其容量必须超过实际被读入文件的体积。如果被读入文件太巨大，只能拆分成为比你移动硬盘容器小一些的文件。
如果用固态硬盘，那就完美了。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

邢不行

2011-11-28 23:00:27

abelus 发表于 2009-6-27 15:12
对多个变量的处理，要用到SAS的marco了，如果变量命名比较规则，不会是太大的问题。

如果是记录条数多， ...

比如说我有2TB的数据需要排序，变量不是很多，但是观测多，应该怎么办？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

邢不行

2011-11-28 23:08:20

abelus 发表于 2009-6-27 15:14
说说数据处理的要求吧，具体要得到啥结果之类的，越详细越好。

我处理过千万条记录级别的数据，SAS完全可 ...

好厉害，
我想问的是，比如如何给2TB的数据排序，这个数据变量不是很多，但是观测很多，应该怎么办？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

邢不行

2011-11-28 23:16:48

kofsphere 发表于 2009-10-13 21:54
楼主你要是用了SAS/SQL 就不发这种问题了

能详细的解释一下这句话嘛？谢谢

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

邢不行

2011-11-30 20:38:24

今天问了一个人，他说他曾经用sas出来过2tb的数据，出来起来出了慢点没有任何问题，其实也不算太慢，比如排个序半小时到一个小时
他电脑内存8G,硬盘比较大。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

haohao10

2011-12-2 17:13:44

进来学习学习！

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

lipioneer

2011-12-12 15:53:38

不懂啊

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

lipioneer

2011-12-12 15:54:02

研究

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

haikuoxinkong

2011-12-20 10:53:27

比较难吧补太好实现

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

beyondcj

2012-1-4 08:51:58

macro

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

wencycooll

2012-2-9 13:15:37

数据处理阶段如果是海量级别比如达到TB以上甚至PB级别，应该交给数据库来处理。利用数据库集群技术来处理：EMC公司IBM等都有基于mapreduce做出的面向数据仓库级别的数据库。sas可以专心利用处理好的数据来做模型的分析，关于模型处理方面是否可能可以和数据库那样分布式并行计算（对sas我是入门级人员）。海量处理在软件无法优化的情况下只能充分利用分布式技术增加内存和cpu和IO来加快处理速度。