评价指标Precision(精度)和Recall(召回率)以及AP0.5、AP0.75、AP0.9的理解

非常感谢原作者得文章让我对iou Precision(精度)和Recall(召回率)以及map有了更清晰得了解。
下文是我的一些理解,仅供自己做笔记使用
1.IOU的概念
IOU即交并比,也是预测框和真实框的比值,他的算法可如下图所示

评价指标Precision(精度)和Recall(召回率)以及AP0.5、AP0.75、AP0.9的理解_第1张图片
2.TP TN FP FN的概念
T或者N代表的是该样本是否被分类分对,P或者N代表的是该样本被分为什么

TP(True Positives)意思我们倒着来翻译就是“被分为正样本,并且分对了”,TN(True Negatives)意思是“被分为负样本,而且分对了”,FP(False Positives)意思是“被分为正样本,但是分错了”,FN(False Negatives)意思是“被分为负样本,但是分错了”。

按下图来解释,左半矩形是正样本,右半矩形是负样本。一个2分类器,在图上画了个圆,分类器认为圆内是正样本,圆外是负样本。那么左半圆分类器认为是正样本,同时它确实是正样本,那么就是“被分为正样本,并且分对了”即TP,左半矩形扣除左半圆的部分就是分类器认为它是负样本,但是它本身却是正样本,就是“被分为负样本,但是分错了”即FN。右半圆分类器认为它是正样本,但是本身却是负样本,那么就是“被分为正样本,但是分错了”即FP。右半矩形扣除右半圆的部分就是分类器认为它是负样本,同时它本身确实是负样本,那么就是“被分为负样本,而且分对了”即TN
评价指标Precision(精度)和Recall(召回率)以及AP0.5、AP0.75、AP0.9的理解_第2张图片

3.Precision(精度)和Recall(召回率)的概念

有了上面TP TN FP FN的概念,这个Precision和Recall的概念一张图就能说明。

评价指标Precision(精度)和Recall(召回率)以及AP0.5、AP0.75、AP0.9的理解_第3张图片

,翻译成中文就是“分类器认为是正类并且确实是正类的部分占所有分类器认为是正类的比例”,衡量的是一个分类器分出来的正类的确是正类的概率。两种极端情况就是,如果精度是100%,就代表所有分类器分出来的正类确实都是正类。如果精度是0%,就代表分类器分出来的正类没一个是正类。光是精度还不能衡量分类器的好坏程度,比如50个正样本和50个负样本,我的分类器把49个正样本和50个负样本都分为负样本,剩下一个正样本分为正样本,这样我的精度也是100%,但是傻子也知道这个分类器很垃圾。

,翻译成中文就是“分类器认为是正类并且确实是正类的部分占所有确实是正类的比例”,衡量的是一个分类能把所有的正类都找出来的能力。两种极端情况,如果召回率是100%,就代表所有的正类都被分类器分为正类。如果召回率是0%,就代表没一个正类被分为正类。

举例计算mAP
有3张图如下,要求算法找出face。蓝色框代表标签label,绿色框代表算法给出的结果pre,旁边的红色小字代表置信度。设定第一张图的检出框叫pre1,第一张的标签框叫label1。第二张、第三张同理。

1.根据IOU计算TP,FP,
首先我们计算每张图的pre和label的IOU,根据IOU是否大于0.5来判断该pre是属于TP还是属于FP。显而易见,pre1是TP,pre2是FP,pre3是TP。
2.在不同置信度阈值下获得Precision和Recall
首先,设置阈值为0.9,无视所有小于0.9的pre。那么检测器检出的所有框pre即TP+FP=1,并且pre1是TP,那么Precision=1/1。因为所有的label=3,所以Recall=1/3。这样就得到一组P、R值。

然后,设置阈值为0.8,无视所有小于0.8的pre。那么检测器检出的所有框pre即TP+FP=2,因为pre1是TP,pre2是FP,那么Precision=1/2=0.5。因为所有的label=3,所以Recall=1/3=0.33。这样就又得到一组P、R值。

再然后,设置阈值为0.7,无视所有小于0.7的pre。那么检测器检出的所有框pre即TP+FP=3,因为pre1是TP,pre2是FP,pre3是TP,那么Precision=2/3=0.67。因为所有的label=3,所以Recall=2/3=0.67。这样就又得到一组P、R值。
3.
4.绘制PR曲线并计算AP值
根据上面3组PR值绘制PR曲线如下。然后每个“峰值点”往左画一条线段直到与上一个峰值点的垂直线相交。这样画出来的红色线段与坐标轴围起来的面积就是AP值。

在这里
在这里插入图片描述评价指标Precision(精度)和Recall(召回率)以及AP0.5、AP0.75、AP0.9的理解_第4张图片

![在这里插入图片描述](https://img-blog.csdnimg.cn/20210325215745223.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dyaXRlcjY2Ng==,size_16,color_FFFFFF,t_70

**

5.计算mAP

**
AP衡量的是对一个类检测好坏,mAP就是对多个类的检测好坏。就是简单粗暴的把所有类的AP值取平均就好了。比如有两类,类A的AP值是0.5,类B的AP值是0.2,那么mAP=(0.5+0.2)/2=0.35

最后说下我自己的理解:AP0.5 AP0.75 AP0.9的概念

即当求AP0.5时,就是设置置信度阈值IOU为0.5,只对IOU>0.5的预选框进行计算。即对所有大于0.5的预选框进行分类,分为TP、TN、FP、FN。然后对Precision(精度)和Recall(召回率)进行计算同理AP0.75就是对IOU>0.75的预选框进行计算,并以此算出P、R的值。
一般来说AP0.5>AP0.75>AP0.9因为IOU越大,预选框的数量就会越少,这样就会导致比例相对应的增多。

这个是一个可以求MPA的githu地址
https://github.com/Cartucho/mAP

你可能感兴趣的:(tensorflow)