【目标检测】mAP评价指标介绍

1 基础概念

1.1 IoU

Intersection Over Union (IoU)，又称交并比，用来衡量两个box重叠的程度,通过这个名称我们大概可以猜到 IoU 的计算方法。IoU 计算的是 “预测的边框” 和 “真实的边框” 的交集和并集的比值。对于1个真实bbox​和1个预测的bbox ​, 它们的IoU计算如下：

$$IoU=\frac{area(bo{x}_{pre}\bigcup bo{x}_{gt})}{area(bo{x}_{pre}\bigcap bo{x}_{gt})}.$$

1.2 Precision and Recall

• True Positive (TP): IOU>=阈值的检测框
• False Positive (FP): IOU<阈值的检测框
• FalseNegative (FN): 未被检测到的GT
• True Negative (TN): 忽略不计

精确率Precision的计算公式为：
$$Precision=\frac{TP}{TP+FP}$$
召回率Recall的计算公式为：
$$Recall=\frac{TP}{TP+FN}$$

1.3 PR Curve（PR曲线）

PR曲线用途：当confidence阈值改变时，衡量模型的performance

好模型的标志：PR曲线鼓大（靠近右上方）,见下图示例，recall变大时precision下降小，意味着模型不需要通过预测更多的BBOX来检测出GT。对于好的模型，当confidence阈值改变，precision和recall都保持在较高水平

1.4 AP（average precision）

AP：PR曲线下面积的近似，是一个0~1之间的数值，也可用来衡量模型的performance

在实际应用中，我们并不直接对该PR曲线进行计算，而是对PR曲线进行平滑处理。即对PR曲线上的每个点，Precision的值取该点右侧最大的Precision的值。
用公式来描述就是
用该公式进行平滑后再用上述公式计算AP的值。

AP VS PR曲线：

• PR曲线比较直观，但由于曲线的上下震荡，不方便比较不同模型的PR曲线
• AP是一个数字，模型的AP大，则模型更好，方便比较不同模型

2 mAP计算方法

2.1 VOC

对于AP的计算，VOC采用过两种不同方法：

1. 11点插值法
VOC2010以前，选取当Recall >= 0, 0.1, 0.2, …, 1共11个点时的Precision最大值，AP是这11个Precision的平均值，此时只由11个点去近似PR曲线下面积。

2. 所有点插值法
11点插值法有两个缺陷，第一个是使用11个采样点在精度方面会有损失。第二个是，在比较两个AP值较小的模型时，很难体现出两者的差别。

VOC2010及以后，采用绘制出平滑后的PR曲线后，用积分的方式计算平滑曲线下方的面积作为最终的AP值。该方法需要针对每一个不同的Recall值（包括0和1），选取其大于等于这些Recall值时的Precision最大值，然后计算PR曲线下面积作为AP值：

2.2 COCO

最新的目标检测相关论文都使用coco数据集来展示自己模型的效果。对于coco数据集来说，使用的也是Interplolated AP的计算方式。与VOC 2007不同的是，为了提高精度，在PR曲线上采样了100个点进行计算。而且Iou的阈值从固定的0.5调整为在 0.5 - 0.95 的区间上每隔0.5计算一次AP的值，取所有结果的平均值作为最终的结果。

采用COCO mAP的论文中，我们除了AP，还能看到例如$A{P}_{50}$、$A{P}_{75}$、$A{P}_S$、$A{P}_M$、$A{P}_L$，其代表意义如下：

$A{P}_{50}$：IoU阈值为0.5时的AP测量值
$A{P}_{75}$：IoU阈值为0.75时的AP测量值
$A{P}_S$: 像素面积小于 $32^2$的目标框的AP测量值
$A{P}_M$ : 像素面积在 $32^2-96^2$之间目标框的AP测量值
$A{P}_L$ : 像素面积大于 $96^2$目标框的AP测量值