机器学习中的分类器的性能指标

机器学习中的分类器的性能指标，也是实验结果的常用评价标准。

主要有精度，召回率，准确率。此外还有平均精度AP、平均精度均值mAP和综合评价指标F1-Measure(或F1-Score)。曲线有CMC(Cumulative Match Characteristic)和ROC(Receiver Operating Characteristic)两种。CMC曲线的横坐标是Rank Score，纵坐标是Matching Rate。ROC曲线的横坐标是虚警率，纵坐标是灵敏度。

在了解这些指标之前先了解混淆矩阵confusion matrix。包含四种：真阳TP，真阴TN，假阳FP，假阴FN。

Precision精度就是查准率，定义为：TP/(TP+FP)

Recall召回率就是查全率或命中率或灵敏度sensitivity，定义为：TP/(TP+FN)

Accuracy准确率，定义为：(TP+TN)/(TP+TN+FP+FN)

TPR就是真阳性率，也叫召回率，定义为：TP/(TP+FN)

FPR就是假阳性率，也叫误识率false accept rate或虚警率false alarm rate，定义为：FP/(FP+TN)

TNR就是真阴性率，也叫特异度specificity，等于1-FPR，衡量分类器对阴性样本的识别能力。

还有拒识率或漏警率false reject rate，即1-TPR

假发现率False Discovery Rate，定义为：1-Precision

IoU(Intersection over Union)交并比，这里相当于：TP/(TP+TN+FP+FN)

实际上TPR和FPR是非常重要的指标，分别是ROC曲线的纵坐标和横坐标。

等错误率：ROC曲线上，召回率等于特异度(TPR==1-FPR)时的点。实际上这是一个平衡点，在这个点的左边，TPR<1-FPR；在这个点的右边，TPR>1-FPR。

F1-Score又叫F1-Measure，是Precision和Recall的调和平均，定义为：2/(1/Precision+1/Recall)。而Maximum F1-Score Criterion经常被用作性能指标。

关于AP(average precision)和mAP(mean average precision)概念可以参考这篇文章：http://nooverfit.com/wp/david9%E7%9A%84%E6%99%AE%E5%8F%8A%E8%B4%B4%EF%BC%9A%E6%9C%BA%E5%99%A8%E8%A7%86%E8%A7%89%E4%B8%AD%E7%9A%84%E5%B9%B3%E5%9D%87%E7%B2%BE%E5%BA%A6ap-%E5%B9%B3%E5%9D%87%E7%B2%BE%E5%BA%A6%E5%9D%87/?yyue=a21bo.50862.201879