全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 SAS专版
2531 5
2013-01-19
菜鸟问题,我用proc import读取外部.del文件(db2),只能读入700多万条。总共有900多万条。
是不是sas读取数据条数有限制?
还是我用的读取方法有问题呢?
程序参考如下:

PROC IMPORT OUT= SASUSER.abcd
            DATAFILE= "D:\aaa.del"
            DBMS=DLM REPLACE;
     DELIMITER=',';
     GETNAMES=YES;
         DATAROW=2;
RUN;


拜托了!!!
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2013-1-19 03:37:02
哇,还没碰到过这个数量级的dataset
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2013-1-19 07:31:13
AFAIK there is no limitation as long as your system hardware can handle in a data step.   Try no using import for text file. The example below reads and writes 10**8 rows.

12   data _null_;
13      file 'c:\temp\i.txt';
14      do i=1 to 1e8;
15        put i;
16      end;
17   run;

NOTE: The file 'c:\temp\i.txt' is:
      Filename=c:\temp\i.txt,
      RECFM=V,LRECL=256,File Size (bytes)=0,
      Last Modified=18Jan2013:18:17:29,
      Create Time=18Jan2013:18:16:39

NOTE: 100000000 records were written to the file 'c:\temp\i.txt'.
      The minimum record length was 1.
      The maximum record length was 9.
NOTE: DATA statement used (Total process time):
      real time           26.13 seconds
      cpu time            18.70 seconds


18
19   data _null_;
20      infile 'c:\temp\i.txt';
21      input i;
22   run;

NOTE: The infile 'c:\temp\i.txt' is:
      Filename=c:\temp\i.txt,
      RECFM=V,LRECL=256,File Size (bytes)=988888898,
      Last Modified=18Jan2013:18:17:55,
      Create Time=18Jan2013:18:16:39

NOTE: 100000000 records were read from the infile 'c:\temp\i.txt'.
      The minimum record length was 1.
      The maximum record length was 9.
NOTE: DATA statement used (Total process time):
      real time           17.26 seconds
      cpu time            17.08 seconds


二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2013-1-21 10:15:56
谢谢,后来我用了infile,还是只能录入700多万。而且sas不报错。最后BI同事说,是因为原来文件从DB2导出 的,DB2有自己大型文件的格式,导入时候会无法识别。所以后来就找到后面2百万数据里面有点乱码,去除掉,就导入了。楼上兄弟对的,sas没有这个限制。谢谢哈
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2013-1-21 11:06:59
可不可以先import前4m个,在输入后面的
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2013-1-21 13:45:38
bobguy 发表于 2013-1-19 07:31
AFAIK there is no limitation as long as your system hardware can handle in a data step.   Try no usi ...
are u a girl?
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群