数据集太大，如何压缩？ - 经管之家

› 论坛 › 数据科学与人工智能 › 数据分析与数据科学 › SAS专版

数据集太大，如何压缩？

11454

9

收藏 2012-07-10

我有一个数据集，大小2G，800多变量，200000观测，其中的字符型变量全部定义的是输入，输出格式$55.，这样感觉数据集太大，做什么分析处理都影响速度，有没有办法对数据集进行压缩，主要是字符变量，把数据集大小变小一点。
第一，有没有特有的sas程序实现对数据集的压缩
第二，怎么使用输出输入格式对数据集的全部字符变量进行统一重新定义？

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

2012-7-10 15:45:17

分箱处理

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2012-7-10 15:46:30

SAS本身的数据库不适应BIG DATA

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

chendonghui1987

2012-7-10 16:28:27

写个宏语句,把每个字段的最大字符数length算出来,之后根据每个字段的最大length,重新设置字段大小看看,是不是能减小数据库大小

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2012-7-11 10:03:32

huntdreamer 发表于 2012-7-10 15:46
SAS本身的数据库不适应BIG DATA

你不是开玩笑吧？

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2012-7-11 10:59:47

前面option中加 compress=yes

二维码

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

相关推荐

栏目导航

热门文章

推荐文章

扫码加好友，拉您进群

各岗位、行业、专业交流群