全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 SAS专版
2009-7-9 14:05:26
读入就处理?你的意思是分析结果来自不完整数据吗?
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-7-10 16:41:31
学习!!!!
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-7-10 23:42:37
61# genuines
有这种意思,因为很多算法需要这种
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-7-18 09:11:52
理论上SAS可以处理无限大的数据,只要你有无限大的硬盘,这和内存关系不大。在处理大数据时,硬盘读写时间往往占去大块,因此在算法上需要多次读写的时候,最好把数据切成小块再进行计算,然后再合并,节约硬盘读写时间。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-7-22 21:24:04
raymonica 发表于 2009-6-19 21:44
我也比较头疼这个问题。 有时候需要花上几天把数据分成几个块。 把CLOB 字段转成csv, 再传入SAS. 太麻烦了。我正在申请直接把ORACLE 的数据库连上 SAS。 这样就不需要转来转去的。不知道那位高人有这方面的经验可以分享。
我们公司的SAS就是这样做的,SAS直接可以连ORACLE的数据库。可以通过SQL过程把数据同步过去,完成数据的赛选。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-7-25 14:43:53
期待好的解决方案
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-7-27 10:06:54
爱萌 发表于 2009-7-5 17:17
denver 发表于 2009-7-2 20:34
fincomputing 发表于 2009-6-21 20:01
我觉得,考虑使用Matlab,R等替代软件,SAS处理大数据量可不是强项,呵呵~~
兄弟你正好说反了,MatLAB的强大在于它有很多的工具箱,在每个工具箱中有很多现成的函数,在遇到具体问题的时候,能够最大程度的减少编程的工作。但其运行速度实在不敢恭维。
R的强大在于package的更新速度很快,很多新的统计算法都能在第一时间得到实现,而且语法规范友好,但与其他软件一样,缺点是处理海量数据不太灵便,因为还是要将数据整体读入内存的,一个解决办法是使用RSQL。
SAS的强大之处正在于对于海量数据的处理上,虽然语法恶心点,所以我用SAS只是为了处理数据而已。
补充和修正:

.....
......

SAS,R,matlab都可以处理大量数据,.....
......
斑竹应该是没用过R 处理大数据。 R 的 内存使用上限是3G。 3G 应该不叫大数据。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-8-10 10:53:38
我是个初学者,想多看看大家怎么操作的
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-8-12 22:35:08
我们项目还用不到动态地接纳数据,不过收藏留着以后可能用。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-8-23 09:49:53
chitchatla 发表于 2009-7-27 10:06
爱萌 发表于 2009-7-5 17:17
denver 发表于 2009-7-2 20:34
fincomputing 发表于 2009-6-21 20:01
我觉得,考虑使用Matlab,R等替代软件,SAS处理大数据量可不是强项,呵呵~~
兄弟你正好说反了,MatLAB的强大在于它有很多的工具箱,在每个工具箱中有很多现成的函数,在遇到具体问题的时候,能够最大程度的减少编程的工作。但其运行速度实在不敢恭维。
R的强大在于package的更新速度很快,很多新的统计算法都能在第一时间得到实现,而且语法规范友好,但与其他软件一样,缺点是处理海量数据不太灵便,因为还是要将数据整体读入内存的,一个解决办法是使用RSQL。
SAS的强大之处正在于对于海量数据的处理上,虽然语法恶心点,所以我用SAS只是为了处理数据而已。
补充和修正:

.....
......

SAS,R,matlab都可以处理大量数据,.....
......
斑竹应该是没用过R 处理大数据。 R 的 内存使用上限是3G。 3G 应该不叫大数据。
这个大数据应该现在还没有具体分法
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-8-30 00:45:31
嗯,这个话题不错,值得关注~
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-8-30 11:27:25
这个问题还没有遇到过,哈哈
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-8-30 11:34:13
22# edwardhuanghz

这才是有经验的兄弟,哈哈
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-8-30 23:33:53
hash 表可以快速处理一些数据,大家也可以关注一下这个
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-9-3 07:09:38
利用data步的选择项,选择或禁止某些加载数据,然后编写处理程序,run结束后;
在调用data步加载另外的处理程序,依次向推。。。若处理用data步处理过的程序,
用data步选择合并即可合并(付:可将处理过的数据存为盘,创建时用data sasuser.a1,
处理完退出,在用data 加载其他数据)利用
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-9-11 07:58:57
good question. any solution yet?
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-9-28 13:28:14
SAS当然可以无限的处理数据,但是你怎么保证你的数据源是无限的数据呢,如果你能保证你的数据源是无限的SAS就可以无限的处理下去。举一个例子,例如你用sas连接到一个数据库上,读取某一个表的数据,该表上有触发器,会随时的往表中写数据,那你就可以用sas中的set的point选项和nobs选项实时的获得该表的记录数,然后用宏写一个死循环就可以了,但是这这样做有意义吗?
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-10-1 00:27:36
前处理千万级或更多的变量或记录可以用Perl或Python,处理成自己理想的数据格式以后再转入SAS运算。我处理过20G 左右的文本文件,应该没有什么问题。补充一下,用的是Ubuntu 64位 Linux系统。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-10-10 10:03:55
fincomputing 发表于 2009-6-21 20:01
我觉得,考虑使用Matlab,R等替代软件,SAS处理大数据量可不是强项,呵呵~~
处理大数据正是sas的强项啊,
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-10-11 00:55:14
喔 不大懂啊。我也有类似的问题
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-10-13 21:54:11
楼主你要是用了SAS/SQL 就不发这种问题了
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-10-15 08:34:39
这个问题我们还有待于思考
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-10-16 17:32:56
还没学到0000
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-10-30 14:57:59
呵呵,学习一下
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-11-3 12:16:04
我觉得这是个很好的想法。期待解答
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-11-13 09:09:16
关注一下,最近遇到这个问题
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-11-17 10:57:13
我觉得可以从这几方面入手:
1.基础设施
既然数据量很大,就需要一个数据库吧,第一可以方便管理,第二可以随时提取出自感兴趣的数据;在这里推荐用DB2 Express-C.有多方面的原因,在此不赘述。很多数据库对数据的缓冲等等已经做的完善了,我觉得我们没有必要再去实现一个数据缓冲过程,况且,我们关注的焦点在于数据挖掘。
2.SAS与数据库接口的熟悉
SAS已经有了与数据库的接口,比如DB2,Oracle,MySQL,Dbase等等,这样更加方便了我们编程来处理数据。所以还是需要先了解SAS怎样与数据库结合,然后编程
3.了解数据库的知识是数据挖掘的一个必经之路
数据挖掘所需的数据量之大,前所未有,所以,学习数据挖掘,最好是具备数据库的知识,你会发现这会在研究中助你一臂之力。
我会在SAS研究板块中上传一篇文章,主要讲了SAS怎样与DB2数据库结合的文章,大家可以参考一下。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-11-17 11:53:51
关注~~~~我也想知道,现在的数据量很大,是不是一定要分开来读取?
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-12-1 12:28:21
看来我的水平还是相距甚远……
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2009-12-14 03:55:50
我们公司是用odbc直连数据库 所以没有遇到过这种问题
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群