目标检测之coco评价指标

一、基础概念

• TP: IoU>0.5的检测框数量（同一Ground Truth只计算一次）
• FP: IoU<=0.5的检测框，或者是检测到同一个GT的多余检测框的数量
• FN: 没有检测到的GT的数量
• Precision: TP / (TP + FP)
• Recall: TP / (TP + FN)
• PR曲线: Precision-Recall曲线
• AP: PR曲线下面积
• mAP: mean Average Precision, 即各类别AP的平均值

二、AP、mAP、AR、mAR计算

• AP

这是一类中的统计数值，图中一共有7个目标，表头的含义分别是：

1. GT ID：真实目标的ID；
2. Confidence: 程序中判断为该目标的概率值；
3. OB(IOU=0.5)：IOU为0.5的时候判定为正确的框（检测框和真实框的IOU大于等于0.5为True，小于0.5或已经出现大于0.5的正确框为False）；
   
   
   该计算得到的值即为该类的ap值，再对每一类都如上的算法，再对所有类的ap值求平均，则为map值。

• AR
  average recall: 即平均召回率，对于不同的iou取最大的召回率再求平均值，例如以上iou=0.5的情况下，最大召回率为0.71，再对不同的iou分别取最大的召回率然后求均值即为AR。
  
• mAR
  mAR则为对于所有类别的每一类的AR值求平均值。

三、官方解释

1. 除非另有说明，否则AP和AR在多个交汇点（IoU）值上取平均值。具体来说，我们使用10个IoU阈值0.50：0.05：0.95。这是对传统的一个突破，其中AP是在一个单一的0.50的IoU上计算的（这对应于我们的度量APIoU=.50 ）。超过均值的IoUs能让探测器更好定位。

2. AP是所有类别的平均值。传统上，这被称为“平均准确度”（mAP，mean average precision）。我们没有区分AP和mAP（同样是AR和mAR），并假定从上下文中可以清楚地看出差异。

3. AP（所有10个IoU阈值和所有80个类别的平均值）将决定赢家。在考虑COCO性能时，这应该被认为是最重要的一个指标。

4. 在COCO中，比大物体相比有更多的小物体。具体地说，大约41％的物体很小（面积<32²），34％是中等（32² < area < 96²)），24％大（area > 96²）。测量的面积（area）是分割掩码（segmentation mask）中的像素数量。

5. AR是在每个图像中检测到固定数量的最大召回（recall），在类别和IoU上平均。AR与提案评估（proposal evaluation）中使用的同名度量相关，但是按类别计算。

6. 所有度量标准允许每个图像（在所有类别中）最多100个最高得分检测进行计算。

7. 除了IoU计算（分别在框（box）或掩码（mask）上执行）之外，用边界框和分割掩码检测的评估度量在所有方面是相同的。

四、通过指标可以得到什么信息

1. 第一个值即为map值；
2. 第二个值是iou取0.5的map值，是voc的评判标准；
3. 第三个值是评判较为严格的map值，可以反应算法框的位置精准程度；
4. 中间几个数为物体大小的map值；
5. 对于AR看一下maxDets=10/100的mAR值，反应检出率，如果两者接近，说明对于这个数据集来说，不用检测出100个框，可以提高性能。

五、参考以及感谢

1. https://www.bilibili.com/video/BV1ez4y1X7g2
2. https://www.zhihu.com/question/53405779
3. https://datascience.stackexchange.com/questions/25119/how-to-calculate-map-for-detection-task-for-the-pascal-voc-challenge
4. https://cocodataset.org/#detection-eval
5. https://blog.csdn.net/qq_37541097/article/details/112248194
6. https://www.jianshu.com/p/d7a06a720a2b
7. https://github.com/WZMIAOMIAO/deep-learning-for-image-processing/tree/master/course_ppt