类别不平衡问题之评估指标

源自博客

• https://zhuanlan.zhihu.com/p/34473430
• https://zhuanlan.zhihu.com/p/34655990

 

以下是我的一些摘抄笔记

由于类别不平衡问题的特性使然，一般常使用于评估分类器性能的准确率和错误率可能就不再适用了。因为在类别不平衡问题中我们主要关心数目少的那一类能否被正确分类，而如果分类器将所有样例都划分为数目多的那一类，就能轻松达到很高的准确率，但实际上该分类器并没有任何效果。

 

• True Positive (真正例，TP)：实际为正例，预测为正例。
• False Negative (假负例，FN)：实际为正例，预测为负例。
• True Negative (真负例，TN)：实际为负例，预测为负例。
• False Positive (假正例，FP)：实际为负例，预测为正例。

Precision (查准率) =  ，Precision衡量的是所有被预测为正例的样本中有多少是真正例。但Precision并没有表现有多少正例是被错判为了负例(即FN)，举个极端的例子，分类器只将一个样本判为正例，其他所有都判为负例，这种情况下Precision为100%，但其实遗漏了很多正例，所以Precision常和下面的Recall (TPR) 相结合。

Recall(查全率)  ，又称True Positive Rate (TPR，真正例率)= ，Sensitivity(灵敏性)。Recall (TPR)衡量的是所有的正例中有多少是被正确分类了，也可以看作是为了避免假负例(FN)的发生，因为TPR高意味着FN低。Recall的问题和Precision正相反，没有表现出有多少负例被错判为正例(即FP)，若将所有样本全划为正例，则Recall为100%，但这样也没多大用。

False Negative Rate (FNR，假负例率) =  =  ，由混淆矩阵可以看出该指标的着眼点在于正例，意为有多少正例被错判成了负例。

True Negative Rate (TNR，真负例率) = 又称Specificity(特异性)。Specificity衡量的是所有的负例中有多少是被正确分类了，由于类别不平衡问题中通常关注正例能否正确被识别，Specificity高则FP低，意味着很少将负例错判为正例，即该分类器对正例的判别具有“特异性”，在预测为正例的样本中很少有负例混入。

False Positive Rate (FPR，假正例率) =  =  , 由混淆矩阵可以看出该指标的着眼点在于负例，意为有多少负例被错判成了正例。在ROC曲线中分别以TPR和FPR作为纵、横轴作图，显示出一种正例与负例之间的“博弈”。

F1 score ==，是一个综合指标，为Precision和Recall的调和平均 (harmonic mean)，数值上一般接近于二者中的较小值，因此如果F1 score比较高的话，意味着Precision和Recall都较高。