统计 - 科恩的Kappa系数
科恩的kappa系数是衡量定性(分类)项目的评估者间协议的统计量。 通常认为它是比简单的百分比一致性计算更可靠的措施,因为k考虑了偶然发生的协议。 Cohen的kappa测量两个评分者之间的协议,每个评分者将N个项目分类为C个互斥类别。
Cohen的κ系数由以下函数定义和给出:
式
$ {k = \\ frac {p_0 - p_e} {1-p_e} = 1 - \\ frac {1-p_o} {1-p_e}} $
其中 -
$ {p_0} $ =评估者之间的相对观察到的一致性。
$ {p_e} $ =假设的机会协议概率。
使用观察数据计算$ {p_0} $和$ {p_e} $,以计算每个观察者随机地说每个类别的概率。 如果评分者完全一致,那么$ {k} $ = 1。如果评分者之间没有达到偶然期望的一致(由$ {p_e} $给出),则$ {k} 。
例子
问题陈述:
假设您正在分析与50个申请资助的群体相关的数据。 每个拨款建议由两位读者阅读,每位读者对建议说“是"或“否"。 假设分歧计数数据如下,其中A和B是读者,左对角斜度上的数据显示协议计数和对角斜率上的数据,不一致:
B | |||
---|---|---|---|
是 | 没有 | ||
一个 | 是 | 20 | 5 |
没有 | 10 | 15 |
计算科恩的kappa系数。
解决方案:
注意,由读者A和读者B授予的20个提案以及被两个读者拒绝的15个提案。 因此,观察到的比例协议是
$ {p_0 = \\ frac {20 + 15} {50} = 0.70} $
为了计算$ {p_e} $(随机协议的概率),我们注意到:
读者A对25个申请人说“是",对25个申请人说“不"。 因此,读者A在50%的时间说“是"。
读者B对30个申请人说“是",对20个申请人说“不"。 因此,读者B在60%的时间里说“是"。
使用公式P(A和B)= P(A)x P(B)其中P是事件发生的概率。
他们两个随机地说“是"的概率是0.50×0.60 = 0.30,并且他们两个都会说“否"的概率是0.50×0.40 = 0.20。 因此,随机协定的总概率为$ {p_e} $ = 0.3 + 0.2 = 0.5。
所以现在应用我们的公式Cohen的Kappa我们得到:
$ {k = \\ frac {p_0 - p_e} {1-p_e} = \\ frac {0.70 - 0.50} {1-0.50} = 0.40} $