全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 SAS专版
6678 4
2011-04-19
今天工作的时候遇到的个较为麻烦的问题。
  解决的目的是从若干的数据里,筛选出重复的数据,并重复的数据删除,讲变量内容不一样的数据保留。
  由于数据量会很多至少上几百条需要进行数据整理,需要提炼出内容不一样的数据进行保留。
  请教各位高手有无方便快捷的方法对数据进行提取,小弟不才SAS刚上手,所以今天完全是通过手工方式去完成这样的工作。
--------------------------------------------------------------------------------------------------------------------------------------------------------------------
以下是我经历的案例:
我首先用
Proc SQL;
  Create table a1 as
  Select * from a
  Group by name
  Having Count(*)>1;
Quit;
进行重复数据的筛选,然后数据让我犯难了。出来的结果居然是这样的:
-------------------------------------------------------------------------------------------------------------------------------------------------------------------
Name City Sex 身份证号
张三 上海 男 888888
张三 北京 女 888888
张三 上海 男 888888
张三 上海 男 888888
-----------------------------------------------------------------------------------------------------------------------------------------------------------------
有无方法可以实现以下结果:
Name City Sex 身份证号
张三 上海 男 888888
张三 北京 女 888888
--------------------------------------------------------------------------------------------------------------------------------------------------------------------
只保留不一样的数据,如数据间是重复的将其刨除。

如大哥们,有应用方案请提示下,最好有程序编辑,谢谢!
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2011-4-19 22:41:59
你这些数据如果是存放在数据库(SQL Server)中的,且重复数据每行的观测值全都是一样的,直接用select distinct ... 语句不就可以了。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2011-4-20 10:47:15
data a;
input name $ city $ sex$ ID 18.;
cards;
张三 上海 男 888888
张三 北京 女 888888
张三 上海 男 888888
张三 上海 男 888888
王一  北京  女 666666
王二 上海 男 666666
王一 上海    女    777777
王一 上海    女    777777
王一 上海    女    777778
;
run;
proc sql;
create table ac as
select distinct* from a
order by name;
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2011-4-20 11:24:53
proc sort data=..... out= ......  nodup;by _all_;run;
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2011-4-20 22:09:01
4# xktse
楼上的都是高手,一条语句就完成所有事情。同样SQL也很好,很能帮助我提高工作效率。
数据中的处理,有没应用面的书籍可以借鉴呢?
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群