最近用Kappa分析一致性的是否遇到问题，我感觉是数据的特点和Kappa的算法导致的差异，但是不明确到底是哪里出了问题，具体信息如下：
一组数据，可以通过两个特性分到I,II,III,IV个组中（不是定序的），其中特性一把数据分成I/III和II/IV两组，特性二把数据分为I/II和III/IV两组，这样两个特性放到一起就可以吧所有数据分成4个组，但是特性一的评价可以用两种方法，A和B，那么评价A/B两种方法在分组中的一致性就是目标任务。问题来了，如果按照
　　　Ia　IIa　IIIa　IVa
Ib　　n1　n2
IIb　 n3 　n4
IIIb　　　　　　n5　　n6
IVb　　　　　　　n7　　n8
可见，由于特性二的存在，数据列表以后，有4格是空，即由于数据特点导致不可能将数据分配过去，如果这样来计算Kappa值，似乎会导致Kappa升高，而如果按照下表汇总：
　　　　I/IIIa　II/IVa
I/IIIb
II/IVb
Kappa值会明显降低。当然，即使不考虑数据特点的因素，合并非定序分级以后通常也会导致Kappa降低，那么由于这种数据的特点，按照4分类进行Kappa计算是否存在问题呢？