写论文过程记录-评价指标-混淆矩阵-FAR-FRR-EER-ROC曲线-AUC值-Recall-Precision-PR曲线

如果你在认识这些指标的过程中,被各种说法折腾的毫无头绪,一团乱麻,请看下面的详细解释,纯手工整理,非复制粘贴。

混淆矩阵

写论文过程记录-评价指标-混淆矩阵-FAR-FRR-EER-ROC曲线-AUC值-Recall-Precision-PR曲线_第1张图片

经典的混淆矩阵,各项含义如下:

FN:False Negative,被判定为负样本,但事实上是正样本。
FP:False Positive,被判定为正样本,但事实上是负样本。
TN:True Negative,被判定为负样本,事实上也是负样本。
TP:True Positive,被判定为正样本,事实上也是正样本。

在人脸鉴别,签字鉴别等需要鉴定身份的领域,需要使用的评价指标有FAR-FRR-EER-ROC曲线-AUC值等。

FAR和FRR

误识率FAR=FP/(FP+TN),本身假但认为真 / 所有 假的情况

误识率FAR有时也写作:FAR=NFA/NIRA(类间测试:NIRA)

误拒率FRR=FN/(TP+FN),本身真但认为假 / 所有 真的情况

误拒率FRR有时也写作:FRR=NFR/NGRA(类内测试:NGRA)

这两个“率”均为错误率,当FAR=FRR时,称为等错误率EER

ROC曲线

ROC曲线绘制需要计算TPR和FPR,按照定义,

TPR=TP/(TP+FN)

FPR=FP/(FP+TN)

观察可以发现,有助于我们理解的重点信息是:TPR=1-FRR,FPR=FAR;

更有意思的是,在人脸鉴别,签字鉴别等领域,TPR也看作我们常说的召回率Recall,计算公式一毛一样!!!就是因为很多相似的概念,却拥有各式各样的名称,才会令不明就里的萌新们疑惑。

AUC值

AUC值即为ROC曲线与x轴所围的面积。当模型完美解决问题,所有指标完美时,AUC值为1。

下面暂时抛开人脸鉴别,签字鉴别等领域,进行PR曲线探讨

PR曲线根据Recall和Precision画出。上文已经提过Recall=TPR,Recall和Precision定义如下

Precision = TP/(TP+FP)
Recall = TP/(TP+FN)

其中,Recall即为召回率或者说查全率,而Precision翻译一定要慎重,我翻译为精确率或查准率。切记,不能称为准确率,因为准确率定义应为

Accuracy = (TP+TN)/(TP+TN+FP+FN)

下表是我在做笔迹鉴定领域的研究期间,总结的一个简单的各个评价指标一览表,希望帮到疑惑的小伙伴

名称 公式 含义
误识率(FAR) FAR=FP/(FP+TN) 本身假但认为真/所有 假的情况
拒识率(FRR) FRR=FN/(TP+FN) 本身真但认为假/所有 真的情况
     
召回率Recall/TPR TP/(TP+FN) 本身真也认为真/所有 真的情况
FPR也称误识率 FP/(FP+TN) 本身假但认为真/所有 假的情况
精确率Precision TP/(TP+FP) 本身真也认为真/所有认为 真的情况
准确率 所有正确情况/所有情况  
     
     
TPR纵坐标:即1-FRR ROC曲线评估
AUC值(ROC与X轴围成的面积)
 
FPR横坐标:即FAR  

总之,当你遇到相关公式的疑惑时,请按照混淆矩阵定义,写出指标的与TP,FP,TN,FN相关的定义表达式,与其他指标进行公式对比,就会一清二楚了,不要被模糊的定义混淆了概念

 

你可能感兴趣的:(深度学习,机器学习,人工智能,深度学习)