多类分类(Multi-label classification)性能评价之宏平均(macro-average)与微平均(micro-average)

通常,我们在评价classifier的性能时使用的是accuracy

考虑在多类分类的背景下

accuracy = (分类正确的样本个数) / (分类的所有样本个数)

这样做其实看上去也挺不错的,不过可能会出现一个很严重的问题:例如某一个不透明的袋子里面装了1000台手机,其中有600台iphone6, 300台galaxy s6, 50台华为mate7,50台mx4(当然,这些信息分类器是不知道的。。。)。如果分类器只是简单的把所有的手机都预测为iphone6, 那么通过上面的公式计算的准确率accuracy为0.6,看起来还不错;可是三星,华为和小米的全部预测错了。如果再给一个袋子,里面装着600台galaxy s6, 300台mx4, 50台华为mate7,50台iphone,那这个分类器立马就爆炸了,连回家带孩子的要求都达不到

所以,仅仅用accuracy来衡量一个分类器的性能是很不科学的

为此,引入了宏平均(micro-average)的概念

介绍宏平均之前,还要介绍几个概念:

(1)precision(准确率,查准率)

(2)recall(召回率,查全率)

(3)F-measure

文字性的概念我就不水,我从符号上来表示一下吧:

多类分类问题中,分类结果一般有4种情况:

 

  • 属于类C的样本被正确分类到类C,记这一类样本数为 TP
  • 不属于类C的样本被错误分类到类C,记这一类样本数为 FN
  • 属于类别C的样本被错误分类到类C的其他类,记这一类样本数为 TN
  • 不属于类别C的样本被正确分类到了类别C的其他类,记这一类样本数为 FP                     

 

从字面意思上来说,某一类别C的准确率(查准率)可以理解为预测该类样本的准确性:

precision = TP / (TP + FN) 

这里很好理解, TP+FN实际上就是分类器在分类时,预测为类别C的样本个数

而某一个类别C的召回率(查全率)可以理解为,你预测正确的类别C的样本对于样本集中类别C的样本的覆盖程度,如果完全覆盖,那么recall就是100%

recall = TP / (TP + TN)

这里的TP+TN表示样本集中,真实类标为C的样本的个数

单一的用recall或者precision来评价分类器也是不合理的,譬如文章开头说到的那个简单的classifier

我们通过公式可以惊奇的发现在两个样本集上的recall都是100%,这是因为所有的iphone6样本,分类器都可以把它预测对,但是准确率就大不相同了;在第一个数据集上的准确率precision为0.6,但是第二个样本集上的准确率只有可怜的0.05;对于第二个样本集的结果,我可以说classifier很好,因为recall很高,也可以说classifier不好,因为precision很低。不过很明显,这些说法都是不合理的;综合考虑两种指标才是直观的比较可靠的指标。

现在就引入F-measure,计算公式如下

F- measure = (A + 1) * precision * recall / (A ^ 2 * precision + recall)

(不知道怎么写公式,就直接用文字写的,感觉有点挫)

如果A取1,那么F-measure实际上就是precison和recall的调和平均值2*precision*recall / (precision + recall), 此时的F-measure就称为F1值

把这些概念说了, 就回到刚才的宏平均的计算

把所有类的F1值取一个算术平均就得到了Macro-average

微平均Micro-average=(TP + FP) / (TP + TN + FP + FN)

分母就是输入分类器的预测样本个数,分子就是预测正确的样本个数(无论类别)

微平均实际上就是在文章开头说的accuracy

 

写到这里就差不多了,最后以一个例子来收尾把

考虑现在输入分类器的样本有10个,他们属于类别A B C

假设这10个样本的真实类标为(有序)和分类器预测的类标分别是: 

真实:A A A C B C A B B C

预测:A A C B A C A C B C

precision= (test 交 train)/test

recall=(test 交 train)/train

 

precision(A) = 3(正确预测为A类的样本个数为3) / 4(预测为A类的样本数为4) = 0.75  recall(A) = 3 / 4(真实A类样本有4个) = 0.75  

precision(B) = 1 / 2 = 0.5   recall(B) = 1 / 3 = 0.3333

precision(C) = 2 / 3 = 0.6667  recall(C) = 2 / 3 = 0.6667

F值计算出来之后,取算术平均就是Macro-average

Micro-average = 6(预测正确的样本个数) / 10 = 0.6

 

宏平均比微平均更合理,但也不是说微平均一无是处,具体使用哪种评测机制,还是要取决于数据集中样本分布

你可能感兴趣的:(ML)