SAS大数据量的排序、拆分、保存

cysk1011

9545

收藏 2012-08-01

悬赏 50 个论坛币已解决

现有2.78G的csv格式数据

其中var1是形如“20110829”的字符串，有1999~2012的数据

需要按年把数据拆分开，分别保存，以便接下来的处理。

求程序代码

在论坛网友的帮助下，问题基本解决了，以下是我自己的代码：
data cd;
infile 'D:\fdata\cust_done.csv'
DLM = ','
DSD
missover
firstobs=2;
input date$ exch$ id variety$ del$ price$ vol$ short$ tb$ close$ fee method$ time$
pervol force$;
run;

proc print data=cd (obs = 10);
run;
data cd1;
set cd;
year=substr(date,1,4);
run;
data cd1999 cd2000 cd2001 cd2002 cd2003 cd2004 cd2005 cd2006 cd2007 cd2008 cd2009
cd2010 cd2011 cd2012;
set cd1;
select(year);
when ('1999') output cd1999;
when ('2000') output cd2000;
when ('2001') output cd2001;
when ('2002') output cd2002;
when ('2003') output cd2003;
when ('2004') output cd2004;
when ('2005') output cd2005;
when ('2006') output cd2006;
when ('2007') output cd2007;
when ('2008') output cd2008;
when ('2009') output cd2009;
when ('2010') output cd2010;
when ('2011') output cd2011;
when ('2012') output cd2012;
end;
run;

最佳答案

ziyenano 查看完整内容

比如说 infile cards; input x1 x2 x3; cards; 1 2 1 2 3 ; 默认的是flowover,第一行x1读取1，x2读取2，x3会读取第二行的1；后x1继续读取第二行的2，x3读取3；结果为： x1 x2 x3 1 2 1 2 3 . 很多时候这不是我们要的结果；infile 设置missover；第一行x1读取1，x2读取2，x3自动设为缺失值；结果为： x1 x2 x3 1 2 . 1 2 3

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

ziyenano

2012-8-1 07:46:57

比如说
infile cards;
input x1 x2 x3;
cards;
1 2
1 2 3
;
默认的是flowover,第一行x1读取1，x2读取2，x3会读取第二行的1；后x1继续读取第二行的2，x3读取3；
结果为：
x1 x2 x3
1 2 1
2 3 .
很多时候这不是我们要的结果；infile 设置missover；
第一行x1读取1，x2读取2，x3自动设为缺失值；
结果为：
x1 x2 x3
1 2 .
1 2 3

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

zkymath

2012-8-1 07:58:50

按位读取前四位，开关，写入不同数据集

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

liuywustb

2012-8-1 08:58:30

data  year1999  year.2000  year2001  year2002  year2003  year2004
  year2005  year2006  year2007 year2008 year2009  year2010
year2011 year2012;
set dataname;
if substr(var11,1,4)=’1999’  then output  year1999;
if substr(var11,1,4)=’2000’  then output  year2000;
if substr(var11,1,4)=’2001’  then output  year2001;
if substr(var11,1,4)=’2002’  then output  year2002;
if substr(var11,1,4)=’2003’  then output  year2003;
if substr(var11,1,4)=’2004’  then output  year2004;
if substr(var11,1,4)=’2005’  then output  year2005;
if substr(var11,1,4)=’2006’  then output  year2006;
if substr(var11,1,4)=’2007’  then output  year2007;
if substr(var11,1,4)=’2008’  then output  year2008;
if substr(var11,1,4)=’2009’  then output  year2009;
if substr(var11,1,4)=’2010’  then output  year2010;
if substr(var11,1,4)=’2011’  then output  year2011;
if substr(var11,1,4)=’2012’  then output  year2012;
run;
我的办法比较笨拙，供参考

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

suzhzh

2012-8-1 09:39:03

Good

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

ziyenano

2012-8-1 10:02:30

楼主要拆分成SAS数据集，还是CSV文件

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

cysk1011

2012-8-1 10:08:09

ziyenano 发表于 2012-8-1 10:02
楼主要拆分成SAS数据集，还是CSV文件

csv文件

现在基本弄好了，有一个细节问题，就是用import读入数据，有一个指标形如“1109”，sas会把它作为时间读入，并改变其格式。我希望仍然按字符的格式读入，该怎么办？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

ziyenano

2012-8-1 10:40:31

cysk1011 发表于 2012-8-1 10:08
csv文件

现在基本弄好了，有一个细节问题，就是用import读入数据，有一个指标形如“1109”，sas会把它 ...

proc import会在log中，编译成数据步语句；修改数据步那个变量的informat format 然后运行数据步就可以了。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

hamn

2012-8-1 10:42:45

cysk1011 发表于 2012-8-1 10:08
csv文件

现在基本弄好了，有一个细节问题，就是用import读入数据，有一个指标形如“1109”，sas会把它 ...

对这个指标定义成字符型即可。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

hamn

2012-8-1 10:55:03

liuywustb 发表于 2012-8-1 08:58
data year1999 year.2000 year2001 year2002 year2003 year2004
year2005 year2006 year2007 ...

这个方法很好

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

cysk1011

2012-8-1 11:07:58

hamn 发表于 2012-8-1 10:42
对这个指标定义成字符型即可。

怎么做？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

cysk1011

2012-8-1 11:08:53

ziyenano 发表于 2012-8-1 10:40
proc import会在log中，编译成数据步语句；修改数据步那个变量的informat format 然后运行数据步就可以 ...

具体代码是怎样的？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

ziyenano

2012-8-1 11:30:29

cysk1011 发表于 2012-8-1 11:08
具体代码是怎样的？

data ;
infile "" delimiter='09'x missover;
informat  variable  $10.;
input  variable  $;
format varibale  $10.;
run;类似这样的代码，不过这么大数据，重新导入浪费时间；
直接将那个变量的format改成 yymm4.也行;

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

hamn

2012-8-1 11:33:20

很久没有编程序了，把以前工作中遇到的情况写下来，希望有帮助。

SAS在proc import中有默认，即每一个字段的定义（类型、长度）与读取的第一个记录有关。
如，Var1这个变量，第一个记录值为"aaa"，第二个记录值为"aaab"，用import之后，Var1这个变量第1、2记录值均为"aaa"
同样，如果第一个记录值为"1234"，第二个记录值为"aaab"，用import之后，SAS无法读入第二个记录，即第二个记录值为“.”（数值型的missing value）

这是import的一些缺点，所以我当时都是直接对CSV当中每个变量做定义，然后用infile语句将外部数据导入SAS。

欢迎批评指正，谢谢。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

hamn

2012-8-1 11:34:44

楼上说的跟我的意思一样

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

cysk1011

2012-8-1 12:54:31

ziyenano 发表于 2012-8-1 11:30
data ;
infile "" delimiter='09'x missover;
informat variable $10.;

谢谢！再问一个问题，missover是什么意思？英语不好，读不懂：
MISSOVER
prevents an INPUT statement from reading a new input data record if it does not find values in the current input line for all the variables in the statement. （“如果一个观测里所有的变量全是缺失的，则该观测不导入”是不是这个意思？）When an INPUT statement reaches the end of the current input data record, variables without any values assigned are set to missing.

Tip: Use MISSOVER if the last field or fields might be missing and you want SAS to assign missing values to the corresponding variable.

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

cysk1011

2012-8-1 13:43:21

ziyenano 发表于 2012-8-1 13:04
比如说
infile cards;
input x1 x2 x3;

明白，多谢！

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

cysk1011

2012-8-1 13:47:41

ziyenano 发表于 2012-8-1 11:30
data ;
infile "" delimiter='09'x missover;
informat variable $10.;

sas在读入几条变量值完全相同的观测时，会自动合并（即删除，只留一个）吗？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

zhentao

2012-8-2 08:55:43

liuywustb 发表于 2012-8-1 08:58
data year1999 year.2000 year2001 year2002 year2003 year2004
year2005 year2006 year2007 ...

好用就行。
现在的pc的能力很强大，不在乎这么点时间的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

O(∩_∩)O~！

2014-1-17 13:47:46

请教：要生成的数据集名可以简化吗？如果生成很多个名字类似的数据集，该怎么写程序？谢谢

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

栏目导航

最佳答案

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

分享

扫码加好友，拉您进群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群