TP,FP,TN,FN,FAR,FRR,HTER等常见实验指标理解

目录

一、TP,TN,FP,FN

二、FAR,FRR

三、Recall,Precision,Accuracy

四、ROC,TPR,FPR,AUC

五、HTER,EER

 六、APCER,NPCER(BPCER),ACER


一、TP,TN,FP,FN

        前面的字母表示这次预测的结果是正确还是错误(T就是预测结果是对的,F就是预测结果是错误的),后面的字母表示这次预测结果(P就是预测的结果是正类,N就是预测的结果为负类)。

        比如TP,表面意思是正确(True)的正例(Positive),即标签是x,预测也是x (P和N表示两种类别),全称叫True Positive,其它三个同理。

  • TP:被模型预测为正类的正样本(原本是正样本,预测为正样本)
  • TN:被模型预测为负类的负样本(原本是负样本,预测为负样本)
  • FP:被模型预测为正类的负样本(原本是负样本,预测为正样本)
  • FN:被模型预测为负类的正样本(原本是正样本,预测为的负样本)
实际情况 预测情况
正例 反例
正例 TP FN
反例 FP TP

二、FAR,FRR

        FAR和FRR全称分别为False Accept Rate(误识率)和False Rejection Rate(拒识率)。

        FAR:错误地接受,即将错误的判别为正确的,实际的标签为N,但是预测错误为P,所以对应FP。

        FAR=\frac{FP}{FP+TN}

        数据集中标签为N,但预测为P的样本占数据集中所有标签为N的比例。

        注:有的论文也会将FAR写作FMR(False match rate)。

        FRR:错误地拒绝,即将正确的判别为错误的,实际的标签为P,但是预测错误为N,所以对应FN。

FRR=\frac{FN}{FN+TP}

        数据集中标签为P,但预测为N的样本占数据集中所有标签为P的比例。 

        注:有的论文也会将FRR写作FNMR(False non-match rate)。

三、Recall,Precision,Accuracy

        Recall:召回率,即实际为P的样本中预测为P的样本的占比,越大越好。

        Recall=\frac{TP}{TP+FN}

                可以得到:

                Recall+FRR=1

        Precision:准确率、精度,即从预测的角度出发,被分为正例的样本中实际为正例的比例。

Precision=\frac{TP}{TP+FP}

        Accuracy:准确率,即所有样本中预测正确的占比,计算方式为被分对的样本数除以总的样本数,通常来说,正确率越高,分类器越好。但是在正负样本不平衡的情况下,这个评价指标有很大缺陷。如在互联网广告里面,点击的数量是很少的,一般只有千分之几,如果用acc,即使全部预测成负类(不点击)acc也有 99% 以上,没有意义。

Accuracy=\frac{TP+TN}{TP+TN+FP+TN}

四、ROC,TPR,FPR,AUC

        ROC:受试者工作特征曲线(receiver operating characteristic curve,简称ROC曲线),又称为感受性曲线(sensitivity curve)。   

        TPR:真正类率,即所有正样本中被分类器预测为正样本的个数。

TPR=\frac{TP}{TP+FN}

        FPR:假正类率,即所有负样本中被分类器预测为正样本的个数。

FPR=\frac{FP}{FP+TN}

TP,FP,TN,FN,FAR,FRR,HTER等常见实验指标理解_第1张图片

        ROC曲线,其横坐标是FPR,纵坐标是TPR。

        需要注意,虽然TPR和FPR看起来没有关系,因为一个计算的是正样本,一个计算的是负样本,而样本总数是固定的。但阈值的选定会影响TPR和FPR的值。

        在理想情况下,我们都希望一个分类器能够将所有的正类均正确分类对应TPR=1,并将所有的负类也正确分类对应FPR=0。因此,ROC曲线越靠拢(0,1)点,越偏离45度对角线越好。

        ROC本质上就是在设定某一阈值之后,计算出该阈值对应的TPR 和 FPR,便可以绘制出ROC曲线上的一个点。其正是通过不断移动分类器的“正例阈值”来生成曲线上的一组关键点的。

        AUC(Area Under Curve):为ROC曲线下方的面积大小。显然,AUC越大,预测效果越好,一般AUC取值范围一般在0.5和1之间。

        使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好,而作为一个数值,对应AUC更大的分类器效果更好。

  1. AUC=1,是完美分类器,采用这个预测模型时,不管设定什么截断点都能得出完美预测。绝大多数预测的场合,不存在完美分类器。
  2. 0.5
  3. AUC=0.5,跟随机猜测一样(例:抛硬币),模型没有预测价值。
  4. AUC<0.5,比随机猜测还差,但只要总是反预测而行,就优于随机预测。

五、HTER,EER

        HTER:Half Total Error Rate,将FAR和FRR都考虑进去,通常应用于活体检测中。

HTER=\frac{FAR+FRR}{2}
                                ​​​​​              

         EER:Equal Error Rate,指当阈值取某个值是FPR=TRR,此时该值即为EER。

TP,FP,TN,FN,FAR,FRR,HTER等常见实验指标理解_第2张图片

 六、APCER,NPCER(BPCER),ACER

        在活体检测中,通常将攻击视为正样本,而真实人脸视为负样本。

        APCER:Attack Presentation Classification Error Rate,将攻击(正样本)识别为真实人脸(负样本),即将攻击错误分类。与FRR计算方式相同。

        APCER=\frac{FN}{FN+TP}

        NPCER:Normal Presentation Classification Error Rate,将真实人脸(负样本)识别为攻击(正样本),即将真实样本错误分类。与FAR计算方式相同。

NPCER=\frac{FP}{FP+TN}

        ACER:Average Classification Error Rate,平均分类错误率。

        ACER=\frac{APCER+NPCER}{2}

References:

如何理解TP,FP,TN,FN,FAR,FRR,HTER等变量 - 程序员大本营

[深度概念]·评估指标EER(Equal Error Rate)介绍_小宋是呢的博客-CSDN博客_equal error rate

https://www.quora.com/How-can-I-understand-the-EER-Equal-Error-Rate-and-why-we-use-it

机器学习:准确率(Precision)、召回率(Recall)、F值(F-Measure)、ROC曲线、PR曲线_nana-li的博客-CSDN博客_recall 如何理解误识率(FAR)拒识率(FRR),TPR,FPR以及ROC曲线_2014wzy的博客-CSDN博客_far frr

你可能感兴趣的:(深度学习,深度学习,图像处理)