SAS数据集split问题

9109

收藏 2011-01-05

我有个数据集有2000万条数据3000个变量，想做PROC MEANS数据量过大，现在想把这个数据集分成10份来分别proc means 然后set在一起，想按里面的变量id来进行分，一个id只能在一个数据集里面出现，请问下这个应该怎么分？？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

456852

2011-1-5 13:34:01

data a1 a2...a10;
set b;
if id=1 then output a1;
else if id=2 then output a2;
.....
run;

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

yz7891

2011-1-5 13:37:17

.....我是想能不能稍微平均点。因为这2000万条数据里面有180万条id。而且每个Id的数量是不一样的有多有少，能不能分出来的每个数据集在200万条左右。。。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

456852

2011-1-5 13:48:43

我没弄懂你意思，目前你有2个要求：
1）将2000万条记录分成10个小数据集，平均每个200万条左右。
2）每个数据集里只能有一个id，也就是说一个数据集200万条记录的id必须是一样的。
我这么理解对么？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

yz7891

2011-1-5 13:52:32

不是每个数据集里面只能有一个ID 是一个id的所有记录只能存在于一个数据集里面不能被分割成几部分存放在多个数据集里面,

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

yz7891

2011-1-5 13:54:55

比如说
1
1
1
2
2
3
3
3

这些id如果分成2份的话可以分成如下的
第一个数据集
1
1
1
第二个数据集
2
2
3
3
3

而不能是像如下一样
第一
1
1
1
2
第二
2
3
3
3

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

456852

2011-1-5 13:59:02

那最直接的办法就是按照id排序，然后在数据的每一个十分位点，即第200万条，400万条，600万条。。。的地方进行人工微调，也就是手动上移一个id或者下移一个id，你这里就10个，应该很快的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

soporaeternus

2011-1-5 14:12:47

复制代码

由于by语句的存在，需要sort活着index，不知道楼主的机器是否能承受这样的开销

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

elek.me

2011-1-5 14:30:59

不太明白为什么说这个数据量过大。
proc means 没问题的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

yz7891

2011-1-5 14:34:39

9# elek.me
可能是机器不好扛不住吧，2200万条观测值，3000个变量,
class id;
var 剩余3000个变量;

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

456852

2011-1-5 14:38:35

数据量的确不小，但是你这个地方只分10个数据集，手动调一下也ok的，当然有code是最好了。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

yz7891

2011-1-5 16:14:55

是不是可以按id的最后一位来进行分？一样的尾数分一组

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

456852

2011-1-5 16:18:20

yz7891 发表于 2011-1-5 16:14
是不是可以按id的最后一位来进行分？一样的尾数分一组

不是阿，一样的id归成一组，不一样的id当然不在一组里。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

soporaeternus

2011-1-5 16:32:22

经楼主点拨，如果id都是数字并且分布较为均匀的话，尝试一下mod运算吧
20组的话，x=mod(id,20)的分在第x组

这样就不要排序了
尾数就是mod 10

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

论坛数据分析

2011-1-6 11:42:13

3000个变量
这个很强大。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

guo.bailing

2011-1-6 13:19:21

海量数据啊，平时运行个小样本就慢的不行

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

elek.me

2011-1-10 00:44:48

guo.bailing 发表于 2011-1-6 13:19
海量数据啊，平时运行个小样本就慢的不行

这个数据不算多大。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

分享

扫码加好友，拉您进群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群