数据分组并标记 - Stata专版

22614

收藏 2013-01-25

悬赏 1000 个论坛币已解决

现有如下面板数据
ID    Year       Var1             Var2    Var3

A    2000       123897       1.2

A    2001       897650       3.5
A    2002       345687       2.2
...
A    2010       65789          3.3
B    2000       90876          2.5
...
B    2010       54321          6.2
...
ZZ    2010       66880          9.9

现需要每年按照Var1数值大小排序分为10等分组，并在每十分之一组中按照Var2数值大小排列分为5等分组，需要在Var3中生成对应ID相应年份的组别。

其实有一个函数cut可以进行分组，egen size_decile=cut(Var1), group(10)
但是这个函数stata显示不能与by搭配使用，也就是说它不能按每一年分组

谢谢！！！

sungmoo已提供答案
但是取整函数int会造成第一分组观察值少一些，最后分组观察值多一些，受sungmoo的启发我改写程序如下：
gen MV_Deciles=1
forvalues i=1/10{
bys Year (MV): replace MV_Decile=`i' if 10*_n/_N<=`i'&10*_n/_N>`i'-1
}
gen MB_Quintiles=1
forvalues i=1/5{
bys Year MV_Deciles (MB): replace MB_Quintiles=`i' if 5*_n/_N<=`i'&5*_n/_N>`i'-1
}

sungmoo提供的改进答案：
bys Year (MV MB): g p=ceil(10*_n/_N)
bys Year p (MB MV): g q=ceil(5*_n/_N)
效果和我写的循环一样，执行效率却高很多。还是要熟悉各种函数啊。

liangsky提出如果样本中重复值较多，可能出现相同值分在不同组的情况，并提供如下代码。
gen n1=.
forv i=2000/2010 {
xtile n`i'=var1 if year==`i',n(10)
replace n1=n`i' if year==`i'
drop n`i'
}
gen n2=.
forv i=2000/2010 {
forv j=1/10 {
xtile n`i'`j'=var2 if year==`i' & n1==`j',n(5)
replace n2=n`i'`j' if year==`i' & n1==`j'
drop n`i'`j'
}
}
此方法分组准确稳妥，但是循环的执行效率不如直接使用函数快。

sungmoo提出cumul函数可以结合by使用解决以上所有问题，
最后我改写程序如下：bys year: cumul(MV), gen (cumMV) equal
gen MV_Deciles=ceil(10*cumMV)
bys year MV_Deciles: cumul(MB), gen (cumMB) equal
gen M2B_Quintiles=ceil(5*cumMB)

最佳答案

sungmoo 查看完整内容

*把缺失值去除，且年份仍然是最高分组 use example,clear drop if MV==.|MB==. bys Year (MV MB): g p=ceil(10*_n/_N) bys Year p (MB MV): g q=ceil(5*_n/_N)

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复

2013-1-25 12:08:26

*把缺失值去除，且年份仍然是最高分组
use example,clear
drop if MV==.|MB==.
bys Year (MV MB): g p=ceil(10*_n/_N)
bys Year p (MB MV): g q=ceil(5*_n/_N)

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

dxystata

2013-1-25 12:51:14

可否传部分数据上来？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-1-26 05:36:26

dxystata 发表于 2013-1-25 12:51
可否传部分数据上来？

这是一个示例文件，需要每年按照MV大小将ticker分为10组，在分好的每一组中，按照MB大小分为5组。
您看看有什么好方法么？
我目前有一个笨办法可以做，就是用cut函数，对每一年数据分组。

example.rar
大小:(2.07 MB)

马上下载

本附件包括：

example.dta

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-1-26 07:49:40

当MV或MB有缺失值时，处理规则是什么？

把缺失值drop掉就可以

*drop的规则是？

drop if MV==.|MB==.

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-1-26 08:19:27

sungmoo 发表于 2013-1-26 07:49
当MV或MB有缺失值时，处理规则是什么？

把缺失值drop掉就可以

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…

2013-1-26 08:51:03

sungmoo 发表于 2013-1-26 08:05
*把缺失值去除，且年份仍然是最高分组
use example,clear
drop if MV==.|MB==.

不好意思，int函数的全称和功能是什么啊？
也许我没表达清楚意思，我是要求每年都要进行分组，分组的依据是根据MV数值大小分成10组，每一组再根据MB数值大小分成5组。
根据您的程序，我进行了sum
bys p: sum MV
结果显示几乎每组的最大值均超过下一组别的最小值，换句话说，这个分组不是按照MV值大小排序的。
所以这个不符合我说的要求。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-1-26 09:08:02

我是要求每年都要进行分组，分组的依据是根据MV数值大小分成10组，每一组再根据MB数值大小分成5组。
根据您的程序，我进行了sum
bys p: sum MV

楼主若“每年分组”，应该是"bys Year p: ……"吧？

int函数的全称和功能是什么啊？

取整函数

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-1-26 09:19:10

sungmoo 发表于 2013-1-26 09:08
楼主若“每年分组”，应该是"bys Year p: ……"吧？

哈哈，刚才疏忽了。验证了，没问题，非常感谢！
我再研究一下。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-1-26 09:36:37

sungmoo 发表于 2013-1-25 12:08
*把缺失值去除，且年份仍然是最高分组
use example,clear
drop if MV==.|MB==.

真是巧妙啊，巧用取整，_n/_N就解决了。用最简单的公式，就是没想到。
还有个问题，bys Year (MV MB),这个括号是什么意思？这里面我直接bys Year MV：不也可以么？

我自己看了帮助文档，知道括号的意思了。不过第一次按MV分组的时候不用加上MB吧，bys Year (MV) 就好了吧？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-1-26 12:38:54

bys Year (MV MB),这个括号是什么意思？这里面我直接bys Year MV：不也可以么？

bys Year (MV MB):
*等价于
sort Year MV MB
by Year:

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-1-27 01:01:57

sungmoo 发表于 2013-1-25 12:08
*把缺失值去除，且年份仍然是最高分组
use example,clear
drop if MV==.|MB==.

取整的方法执行效率很高，但是出现的问题是第一组（p,q编号为0）的观察值相对少一些，最后一组（p编号9,q编号5）的观察值会多一些。
为了解决这个问题，受您_n/_N的启发，我编写了下列程序
gen MV_Deciles=1
forvalues i=1/10{
bys Year (MV): replace MV_Decile=`i' if 10*_n/_N<=`i'&10*_n/_N>`i'-1
}
gen MB_Quintiles=1
forvalues i=1/5{
bys Year MV_Deciles (MB): replace MB_Quintiles=`i' if 5*_n/_N<=`i'&5*_n/_N>`i'-1
}

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-1-28 12:00:16

gen MV_Deciles=1
forvalues i=1/10{
bys Year (MV): replace MV_Decile=`i' if 10*_n/_N<=`i'&10*_n/_N>`i'-1
}
gen MB_Quintiles=1
forvalues i=1/5{
bys Year MV_Deciles (MB): replace MB_Quintiles=`i' if 5*_n/_N<=`i'&5*_n/_N>`i'-1
}

bys Year (MV MB): g p=ceil(10*_n/_N)
bys Year p (MB MV): g q=ceil(5*_n/_N)

*int()、floor()、ceil()对应三种取整规则。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-1-28 19:52:07

sungmoo 发表于 2013-1-28 12:00
bys Year (MV MB): g p=ceil(10*_n/_N)
bys Year p (MB MV): g q=ceil(5*_n/_N)

明白了，ceil的效果和我写的那个循环是一样的。就是直接进位是吧。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-1-29 15:11:18

sungmoo的做法的确可以，
但如果数据中有很多值相等的话这种做法就未必精准。
xtile may solve 。不过要生成一个组别并循环一下。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-1-29 19:17:57

liangsky 发表于 2013-1-29 15:11
sungmoo的做法的确可以，
但如果数据中有很多值相等的话这种做法就未必精准。
xtile may solve 。不过要生 ...

如果数据中很多值相等的话，xtile和pctile也会出现每组不等分的情况。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-1-29 20:11:34

xingxf 发表于 2013-1-29 19:17
如果数据中很多值相等的话，xtile和pctile也会出现每组不等分的情况。

不等分问题不大，把相同值归为不同组的检验结果更不稳健。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-1-29 20:15:10

liangsky 发表于 2013-1-29 20:11
不等分问题不大，把相同值归为不同组的检验结果更不稳健。

恩，你说这个有道理。但是用pctile做循环怎么做呢？

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-1-29 20:21:58

gen n1=.
forv i=2000/2010 {
xtile n`i'=var1 if year==`i',n(10)
replace n1=n`i' if year==`i'
drop n`i'
}

gen n2=.
forv i=2000/2010 {
forv j=1/10 {
xtile n`i'`j'=var2 if year==`i' & n1==`j',n(5)
replace n2=n`i'`j' if year==`i' & n1==`j'
drop n`i'`j'
}
}

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-1-29 20:56:07

liangsky 发表于 2013-1-29 20:21
gen n1=.
forv i=2000/2010 {
xtile n`i'=var1 if year==`i',n(10)

xtile这个函数是不是和egen cut, group()性质一样啊？我再仔细去查查help文档。遇到相似数值，这个函数的处理机制是什么。
这个xtile分组更科学，唯一缺点是执行效率低一些，另外一开始forv i=2000/2010这行，遇到不同数据要更改时间范围。不过分组严谨性是最重要的。
非常感谢！

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-1-29 21:05:05

但如果数据中有很多值相等的话这种做法就未必精准。

这个说到底，是“分组”的规则问题。其中，操作者做出何种分组规定是首要的，这种规定是不受也不该受软件约束的；或者说，是根据规则使用软件（找到恰当的命令），而不是根据软件来确定分组规则。

只要事先给出明确的规则，利用软件实现分组其实是很次要的问题。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-1-29 21:12:43

sungmoo 发表于 2013-1-29 21:05
这个说到底，是“分组”的规则问题。其中，操作者做出何种分组规定是首要的，这种规定是不受也不该受软 ...

恩。我觉得这个帖子能帮助不少人吧。我觉得你给我启发最大的就是那个_n/_N，用最简单的的功能解决问题，这种思路我真是挺佩服的。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-1-29 21:38:33

如果碰到时间不是连续的话，只要egen group=group(var)，就能保证group是连续的了。这点可以解决。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-1-29 21:44:03

如果碰到时间不是连续的话，只要egen group=group(var)，就能保证group是连续的了。这点可以解决。

（重复一遍废话）是否需要或可以这样操作，还是先取决于既有的问题与设定。

（另外，解决的“这点”指什么？）

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-1-29 21:56:02

本题如果想按照样本分位数来对样本分组（这里首要的是：研究者必须先说出“样本分位数”的确切定义），可使用cumul（它可以与by联用）。

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

2013-1-29 23:01:53

sungmoo 发表于 2013-1-29 21:56
本题如果想按照样本分位数来对样本分组（这里首要的是：研究者必须先说出“样本分位数”的确切定义），可使 ...

根据你的建议，我编写了如下步骤，这个我感觉更好一些
bys year: cumul(MV), gen (cumMV) equal
gen MV_Deciles=ceil(10*cumMV)
bys year MV_Deciles: cumul(MB), gen (cumMB) equal
gen M2B_Quintiles=ceil(5*cumMB)

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

xsx小虾米

2013-5-24 14:44:32

第一次使用stata，能把完整的程序再贴一次么，解释我没怎么看明白。哪儿体现出来的按数值大小分组的，初学菜鸟，望不吝赐教~~多谢啦~~

扫码加我拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝