全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 SAS专版
2737 8
2014-11-20
现在研究hadoop的很多,想请教一下有这方面经验的高手:SAS BASE能处理的数据量上限大概是多少,多大的数据量才需要用hadoop?
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2014-11-21 11:52:30
记录数不是这两个完全不同工具使用场景的区分因素
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2014-11-21 13:11:18
两者好像侧重点不一样吧,sas理论上限是你的硬盘容量
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2014-11-21 13:19:01
SAS可以处理的数据大小取决于你硬盘的大小,但是我的经验是上千万条观测,差不多也就是几个g的数据集,用机械硬盘5400转+4G内存+32位SAS处理起来就已经比较吃力了

用hadoop的目的主要是存储nosql类型的数据,以及并行处理,和SAS不矛盾,hadoop不是SAS的更新形态,SAS也有自己的分布式解决方案,只不过不开源不免费一般人碰不到,hadoop免费又开源随便哪个人都可以拿来用
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2014-11-21 13:29:01
我处理过的最大的SAS数据集有342GB,差不多3亿条OBS,不过是在AIX上面。windows的话,2亿就差不多悲剧了……。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2014-11-21 15:52:42
商业应用的话用比较好的存储,除了特殊场景,SAS对数据的处理没有极限
百亿条的流水或是数千变量的宽表都没问题
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群