全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 SAS专版
2926 4
2016-09-02
用SAS单机版链接hadoop,读任何表都是,数值型变量长度$32767,数字型长度都是8,造成的结果是读个1百万的表5T都没存完(列不多,打开了compress),然而同样的数据量用csv导出再导入到SAS中只有几百m。

在libname创建SAS库后里边是看不到任何表的,个人认为hadoop链接通道并没有将数据库的信息传过来,导致SAS将所有数值型变量长度统一$32767,数字型长度统一8。

这样造成任何步骤都很慢,proc部多数提示内存不足(即使分配了100G的物理内存给软件)

请问这要怎样解决?
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2016-9-2 19:37:34
Chi4ZB- 发表于 2016-9-2 13:51
用SAS单机版链接hadoop,读任何表都是,数值型变量长度$32767,数字型长度都是8,造成的结果是读个1百万的 ...
字符型?
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2017-7-19 17:41:12
楼主能不能说下是怎么连的?我用deployment manager进行配置失败了,这个configuration和jar到底怎么配置的?谢谢!
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2018-9-6 09:41:07
楼主找到解决办法了吗?我也遇到这个问题!
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2018-9-17 05:57:39
打开compress是一部分,还有两个很重要的option是DBSASTYPE= 和DBMAX_TXT=[n],这几个组合起来效果很明显。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群