kappa系数

Kappa系数用于一致性检验，也可以用于衡量分类精度，但kappa系数的计算是基于混淆矩阵的。

混淆矩阵的每一列代表了预测类别，每一列的总数表示预测为该类别的数据的数目；每一行代表了数据的真实归属类别，每一行的数据总数表示该类别的数据实例的数目。每一列中的数值表示真实数据被预测为该类的数目：，如图，

第一行第一列中的43表示有43个实际归属第一类的实例被预测为第一类，同理，第一行第二列的2表示有2个实际归属为第一类的实例被错误预测为第二类,正确分类的样本数量之和=43+45+49，样本总数=43+2+0+5+45+1+2+3+49

kapaa系数计算公式

p0是每一类正确分类的样本数量之和除以总样本数，也就是总体分类精度。

假设每一类的真实样本个数分别为a1,a2,...,aC，而预测出来的每一类的样本个数分别为b1,b2,...,bCb1,b2,...,bC，总样本个数为n

如上图所示

p0=（43+45+49）/（43+2+0+5+45+1+2+3+49）

a1=45，a2=51，a3=54

b1=50，b2=50，b3=50，带入pe公式计算得出pe

然后将p0和pe带入k计算公式得出k

kappa计算结果：-1~1，但通常kappa是落在 0~1 间，可分为五组来表示不同级别的一致性：0.0~0.20极低的一致性(slight)、0.21~0.40一般的一致性(fair)、0.41~0.60 中等的一致性(moderate)、0.61~0.80 高度的一致性(substantial)和0.81~1几乎完全一致(almost perfect)