求如何把遗漏的日期补上并补齐缺的数据

楊中

5249

收藏 2013-03-04

各位前辈好，
小弟的问题简单举例如下：

日期成交时间(时/分) 价格数量

20130101 0900                500 2
20130101 0902                502 1
20130101 0905                498 3
20130101 0907                499 1

我希望的是能够把时间补齐，然后缺的那一笔数据是同上一笔资料，
也就是希望的结果如下：

@日期和成交时间是数字!不要变成时间的格式。
日期(date) 成交时间(时/分)(dealtime) 价格(P) 数量(Q)

20130101 0900                                  500       2
20130101 0901                            500       2
20130101 0902                            502 1
20130101 0903                            502 1
20130101 0904                            502       1

20130101 0905                                 498       3
20130101 0906                            498       3
20130101 0907                                 499       1

红字表示我补上缺的时间之后，其余的日期/价格/数量都是用前面一笔资料来补。

2013/3/6 更新，附上一部分的資料。(SAS上面截图)

从图中，举例：20050602 有3笔数据，成交时间(deal)分别有0904(9时04分) 0936 1008。0905到0935缺的时间，皆补上0904的数据。
0937到1007缺的时间，皆补上0936的数据。1008之后，1009-1345缺的时间，皆补上1008的数据。

附註：分钟是00-59，最后时刻是1345(13时45分)而不是2359，开始时刻不一定，需视第一笔数据时间为主，往后补。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

yongyitian

2013-3-5 07:56:57

data test;
input date yymmdd8. @12 T $4. price quantity;
  hour = input(substr(T,1,2), 2.);
  minute = input(substr(T, 3,2), 2.);
  Time = hms(hour,minute,0);
  format Time hhmm5. date date9.;
  drop T hour minute;
datalines;
20130101 0900  500 2
20130101 0902  502 1
20130101 0905  498 3
20130101 0907  499 1
20130101 0908  501 4
20130101 0909  502 5
; run;

proc sort data=test;    by date time;  run;

data test1;
set test end=last;
      Time_Lag  = lag(Time);
         Price_Lag = lag(Price);
   Quantity_Lag = lag(quantity);
         TimeDiff = intck('minute', time_lag, time);
if TimeDiff ^> 1 then output;
if TimeDiff  > 1 then do;
do i = 1 to TimeDiff;
         Time = intnx('minute', time_lag, i);
      Price = Price_Lag;
      uantity = Quantity_lag;
   output;
end;
   end;
  by date;
drop Price_lag Quantity_lag Time_lag TimeDiff i;
run;

data test_result;
merge test1 test;
by date time;
run;
proc print data=test_result; run;

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

yongyitian

2013-3-5 07:58:13

发错了，怎么删掉一贴。
data test;
input date yymmdd8. @12 T $4. price quantity;
  hour = input(substr(T,1,2), 2.);
  minute = input(substr(T, 3,2), 2.);
  Time = hms(hour,minute,0);
  format Time hhmm5. date date9.;
  drop T hour minute;
datalines;
20130101 0900  500 2
20130101 0902  502 1
20130101 0905  498 3
20130101 0907  499 1
20130101 0908  501 4
20130101 0909  502 5
; run;
proc sort data=test;
by date time;
run;

data test1;
set test end=last;
         Time_Lag  = lag(Time);
         Price_Lag = lag(Price);
      Quantity_Lag = lag(quantity);
         TimeDiff = intck('minute', time_lag, time);
if TimeDiff ^> 1 then output;
if TimeDiff  > 1 then do;
         do i = 1 to TimeDiff;
            Time = intnx('minute', time_lag, i);
            Price = Price_Lag;
         Quantity = Quantity_lag;
         output;
      end;
   end;
  by date;
drop Price_lag Quantity_lag Time_lag TimeDiff i;
run;

data test_result;
merge test1 test;
      by date time;
run;
proc print data=test_result; run;

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

楊中

2013-3-5 14:12:17

yongyitian 发表于 2013-3-5 07:58
发错了，怎么删掉一贴。
data test;
input date yymmdd8. @12 T $4. price quantity;

先谢谢Y大提供的方式，小弟先尝试一下看看。
不过，有没有比较简单一点的写法阿...0.0

PS:

Y大，抱歉，有个小问题：

日期成交时间(时/分) 价格数量

20130101 0900                500 2
20130101 0902                502 1
20130101 0905                498 3
20130101 0907                499 1

小弟有一个要求是，
我的日期和成交时间是数字!!! 而不用变成时间的格式，
照Y大的程序语法，小弟跑出来会变成如下：

Date prc qty time

01JAN2013 500 2 9:00

而我希望的是，

Date prc qty time
20130101 500 2 0900
所以，不知道Y大是否能再修改一下程序语法….3Q

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

playmore

2013-3-5 22:04:07

为什么日期时间不能用数值型的时间格式呢？
如果能的话，你的问题用proc timeseries可以一步做完
否则就麻烦多了，但有个可行的办法就是先生成一个日期时间表
然后把你现有的表left join过去，再补缺失值就好了

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

yongyitian

2013-3-5 23:40:38

楊中发表于 2013-3-5 14:12
先谢谢Y大提供的方式，小弟先尝试一下看看。
不过，有没有比较简单一点的写法阿...0.0
PS:

我觉得应该有更简单的方法。
不知道怎样把９小时１分钟用time format 表示成０９０１。我感觉０９０１是character 变量。用下面的 data step 可一把小时分钟变成４位的character variable。

Data test_result_1;
set test_result;
time_c = put( hour(time), z2.)||put(minute(time),z2.);
date_c = put(year(date), z4.)||put(month(date),z2.)||put(day(date),z2.);
* drop date time;
run;

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

楊中

2013-3-6 01:55:46

playmore 发表于 2013-3-5 22:04
为什么日期时间不能用数值型的时间格式呢？
如果能的话，你的问题用proc timeseries可以一步做完
否则就麻 ...

P大，由于小弟输进去的数据已经都是数值的关系，
且笔数相当多笔，所以才会这样要求并寻求帮忙。
至于proc timeseries这个语法，可以针对小弟的问题去补齐时间，
然后把缺失值补上? 怎使用呢?　能小小举例吗? 3Q~~^0^
另外，额外生成一个时间表的想法是不错，但是几十万笔的数据，
我就不知道该如何下手去弄，因为我是要补”数据有的天数”里面的”每分钟”数据。
数据大量，我就不知道该如何动手了 = =”

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

楊中

2013-3-6 02:05:41

yongyitian 发表于 2013-3-5 23:40
我觉得应该有更简单的方法。
不知道怎样把９小时１分钟用time format 表示成０９０１。我感觉０９ ...

Y大不知道有没有误解小弟想表达的意思，
小弟想额外请问的是，如何直接对现有我输进去的数据，
(日期成交时间都是数值格式了)
直接去补我遗失的成交时间(如:0901其实是9分1秒)，
假使有0901和0903的成交时间，缺0902这笔，
小弟就需要补一笔0902的数据，然后其他变量的数据就跟前一笔相同。
小弟不才，原先Y大提供的方法，用在我的数据资料，
我去尝试之后，失败了 = =”

PS：901 902 903变成0901 0902 0903自动补0的方法小弟懂。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

yongyitian

2013-3-6 04:11:28

能否把你输入的数据（dataset）传一部份上来看看.

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

playmore

2013-3-6 08:49:25

楊中发表于 2013-3-6 01:55
P大，由于小弟输进去的数据已经都是数值的关系，
且笔数相当多笔，所以才会这样要求并寻求帮忙。
至于p ...

如果必须是字符型，而且只补原表存在日期条目的缺失时间
那么我觉得你先自己做张时间表，用下面的办法

复制代码

然后用原表的日期和这张表笛卡尔积下，得到日期和时间的完全表后，再把原表的数据连过来并填补缺失值就好了

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

楊中

2013-3-6 14:50:41

yongyitian 发表于 2013-3-6 04:11
能否把你输入的数据（dataset）传一部份上来看看.

Y大，一楼我更新内容了，希望我的说明，能够让你理解我的需求，谢谢啰^0^。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

楊中

2013-3-6 14:52:47

playmore 发表于 2013-3-6 08:49
如果必须是字符型，而且只补原表存在日期条目的缺失时间
那么我觉得你先自己做张时间表，用下面的办法然 ...

恩~谢谢play大给的程序语法，小弟来try try看。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

zhangzachary

2013-3-6 17:02:16

请把条件再补充一下吧，比如分钟是00-59，最后时刻是1345而不是2359，开始时刻是0900而不是0000等，会有所帮助。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

楊中

2013-3-6 17:10:05

zhangzachary 发表于 2013-3-6 17:02
请把条件再补充一下吧，比如分钟是00-59，最后时刻是1345而不是2359，开始时刻是0900而不是0000等，会有所帮 ...

谢谢Z大的提醒，小弟补充上去了，感恩^0^

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

yongyitian

2013-3-7 08:07:58

/* Try this,  */
data Test_F;
input date yymmdd8. PRC QTY key $  deal $4. ;
format date date9. time hhmm5.;
time = hms(substr(deal,1,2),substr(deal,3,2),0);
datalines;
20050602 242.2 1 TE 0904
20050602 242.5 1 TE 0936
20050602 242.8 1 TE 1008
20050603 6022 2 TX 1009
20050603 6023 2 TX 1015
20050830 6075 1 TX 0922
20050831 6049 1 TX 1106
20050909 6146 2 TX 0936
20050926 5936 1 TX 1232
20051003 6162 3 TX 1258
20051013 5972 1 TX 0806
20051025 5789 5 TX 0930
20051025 5789 1 TX 0940
; run;
proc sort data=Test_F;
by date Time;
run;

/* creatting the date time (hour-minute) list */
data DateList (rename = (TimeList=Time));
TimeClose = hms(13,45,0);
format TimeClose TimeList hhmm5.;
set Test_F;
by date;
if first.date then do;
   TimeList = Time;
   do TimeList = Time to TimeClose by 60;
   output;
end;
end;
drop TimeClose PRC QTY key Time deal;
run;

data Test_merge;
   merge DateList Test_F;
   by date time;
run;
proc print data=Test_merge; title 'Merge'; run;

/* Filling the missing */
data Filled_1 (Rename=(PRC_T = PRC
                                 QTY_T = QTY
                                 KEY_T = KEY
                                 Deal_T = deal));
format Date Date9. Time hhmm5. ;
format Key_T Deal_T $8.;
   set Test_merge;
   by date;
   if first.date then do;
            PRC_T =.;
         QTY_T = .;
         key_T = ' ';
         deal_T = ' '; end;
if PRC ne . then do;
      PRC_T = PRC;
   QTY_T =QTY;
   KEY_T = KEY;
   Deal_T = deal;
   end;
   Retain PRC_T QTY_T KEY_T Deal_T;
   drop PRC QTY KEY DEAL;
run;
proc print data=Filled_1; title 'Filled_1'; run;

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

楊中

2013-3-7 13:20:43

yongyitian 发表于 2013-3-7 08:07
/* Try this, */
data Test_F;
input date yymmdd8. PRC QTY key $ deal $4. ;

谢谢Y大!!!! 一早让您花心思帮小弟解答，真的很不好意思 = = "
小弟会好好研究一下这程序语法，套用到数据上，真的很感谢

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

楊中

2013-3-7 15:36:31

yongyitian 发表于 2013-3-7 08:07
/* Try this, */
data Test_F;
input date yymmdd8. PRC QTY key $ deal $4. ;

Y大，问个小小问题，
假如原本我已经把数据输入到SAS了，
在WORK中档名叫做a1;
(不需要用datalines 把数据输入)，
我想要用set a1，这个方式，输入数据，
那么，以下这部分的语法，应该要如何修改呢?
data Test_F;
input date yymmdd8. PRC QTY key $ deal $4. ;
format date date9. time hhmm5.;
time = hms(substr(deal,1,2),substr(deal,3,2),0);
datalines;
20050602 242.2 1 TE 0904
20050602 242.5 1 TE 0936
20050602 242.8 1 TE 1008
20050603 6022 2 TX 1009
20050603 6023 2 TX 1015
20050830 6075 1 TX 0922
20050831 6049 1 TX 1106
20050909 6146 2 TX 0936
20050926 5936 1 TX 1232
20051003 6162 3 TX 1258
20051013 5972 1 TX 0806
20051025 5789 5 TX 0930
20051025 5789 1 TX 0940
; run;
proc sort data=Test_F;
by date Time;
run;

小弟不懂，为什么我直接SET a1的数据，
然后用 time = hms(substr(deal,1,2),substr(deal,3,2),0);
去跑，为什么跑出来time都是”.” (~”~)

然后LOG里面显示
1110 dataa2;

1111 seta1;

1112 time= hms(substr(deal,1,2),substr(deal,3,2),0);

1113 run;

NOTE: Numeric values have been converted tocharacter values at the places given by: (Line):(Column).

1112:21 1112:38

NOTE: Character values have been converted tonumeric values at the places given by: (Line):(Column).

1112:14 1112:31

NOTE: Missing values were generated as a resultof performing an operation on missing values.

Eachplace is given by: (Number of times) at (Line):(Column).

28 at 1112:10

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

yzsxdlcc

2013-3-7 16:57:43

楊中发表于 2013-3-7 15:36
Y大，问个小小问题，
假如原本我已经把数据输入到SAS了，
在WORK中档名叫做a1;

你的数据集a1里面的deal变量是字符型的吗？substr()函数被截取的变量必须为字符型，如果为数值型，自动转化为best12.形式，右对齐，前面补空格。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

楊中

2013-3-7 21:22:19

yzsxdlcc 发表于 2013-3-7 16:57
你的数据集a1里面的deal变量是字符型的吗？substr()函数被截取的变量必须为字符型，如果为数值型，自动转 ...

原来如此，我想也是= = " 所以才会弄出不来。
后来我是用
newtime=put(deal,4.);
time = hms(substr(newtime,1,2),substr(newtime,3,2),0);
这两行，解出来的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

扫码加我 拉你入群

分享

扫码加好友，拉您进群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群

扫码加我拉你入群