【目标检测】评价指标mAP，mAR，IOU

1. 定义

1. 首先需要了解TP，TN，FT，FN是什么？

TP其指的是被分配为正样本，而且分配对了的样本，代表的是被正确分类的正样本。

TN其指的是被分配为负样本，而且分配对了的样本，代表的是被正确分类的负样本。

FP其指的是被分配为正样本，但分配错了的样本，代表的是被错误分类的负样本。

FP其指的是被分配为负样本，但分配错了的样本，代表的是被错误分类的正样本。

2. 什么是精准率？ 什么是召回率？

Precision =TP/TP+FP 分类器认为是正类并且确实是正类的部分占分类器认为是正类的比例。

Rcall=TP/TP+FN 分类器认为是正类并且确实是正类的部分占所有确实是正类的比例。

3. 什么是准确率和错误率？

准确率：TP+TN/ TP+FP+FN+TN

错误率：FP+FN/TP+FP+FN+TN

4. 什么是IOU？

交并比：真实框和预测框的重叠面积/(真实框+预测框-重叠面积)

5. 什么是mAP？

mAP是检测中所有类别AP的平均值。

AP要联系到上面提到的精准率(P)和召回率(R)，AP为准确率和召回率构成的P-R曲线所围成的面积。

举个例子：

假如我们有3张有划痕的图片需要进行预测，这三种图片共有6个真实框，6个预测框(携带置信度)，假设IOU为0.5。

1.计算每张图片的预测框情况，并按置信度进行降序排列。

2. 根据得出来的表格计算所有置信度的准确率和召回率

3.删除相同召回率的，保留最大置信度对应的值

根据最后最后保留的结果，构造P-R曲线，计算围成的面积则是AP。

AP(crack)=(0.2-0)*1.0+(0.33-0.2)*1.0.................................+(0.67-0.5)*1.0

mAP的计算则是有多少类别分别计算出AP并求平均，如果只有一个类别则AP就是mAP。

6. 什么是mAP0.5:0.95？

上面计算AP是在IOU=0.5的情况下获得的，实际上就是IOU>0.5这被认为是正类。

mAP0.5:0.95则是分别计算IOU（0.5～0.95 为0.05）每一类所对应的AP，最后

除了每一类的AP求平均外还有求每个IOU对应的AP的平均值。

这个可以以单独一个IOU作为评价指标，这需要结合实际检测物体的特性进行设置。

7. 什么是APL，APM，APS？

根据物体在图像上占据的像素点划分，一般小于32个像素点的被认为是小物体；

在32到96像素点之间的被认为是中等物体；大于96像素点的被认为是的大物体。

这些设定是在COCO数据集中被定义的，也可以根据实际数据集特性进行划分。

8. 什么是AR？

AR是在每个图像中检测到固定数量的最大召回（recall），在类别和IoU上平均。

AR与提案评估计（proposal evaluation）中使用的同名度量相关，但是按类别计算，

所有度量标准允许每个图像（在所有类别中）最多100个最高得分检测进行计算。

一般max会选择1；10；100。

计算方式为召回率与IOU构造曲线为成面积的二倍。

AR看一下maxDets=10或100的mAR值，反应检出率，如果两者接近，说明对于这个数据集来说，

不用检测出100个框，可以提高性能。除此之外AR也包括ARL；ARM；ARS。

补充：

AR是对检测器漏检情况的评判标准，而不是衡量一个模型检测框的定位是否准确的指标。

明确计算方式：

AR为IOU[0.5,1.0]上所有的recall的平均，这里的recall代表的是最大的recall。是recall-IOU曲线所围成面积的二倍。这里的n代表的是取多少检测框进行计算，这里我们取1

下图为recall-IOU的曲线图。