目标检测之coco评价指标

一、基础概念

  • TP: IoU>0.5的检测框数量(同一Ground Truth只计算一次)
  • FP: IoU<=0.5的检测框,或者是检测到同一个GT的多余检测框的数量
  • FN: 没有检测到的GT的数量
  • Precision: TP / (TP + FP)
  • Recall: TP / (TP + FN)
  • PR曲线: Precision-Recall曲线
  • AP: PR曲线下面积
  • mAP: mean Average Precision, 即各类别AP的平均值

二、AP、mAP、AR、mAR计算

  • AP

这是一类中的统计数值,图中一共有7个目标,表头的含义分别是:

  1. GT ID:真实目标的ID;
  2. Confidence: 程序中判断为该目标的概率值;
  3. OB(IOU=0.5):IOU为0.5的时候判定为正确的框(检测框和真实框的IOU大于等于0.5为True,小于0.5或已经出现大于0.5的正确框为False);

    目标检测之coco评价指标_第1张图片
    该计算得到的值即为该类的ap值,再对每一类都如上的算法,再对所有类的ap值求平均,则为map值。
  • AR
    average recall: 即平均召回率,对于不同的iou取最大的召回率再求平均值,例如以上iou=0.5的情况下,最大召回率为0.71,再对不同的iou分别取最大的召回率然后求均值即为AR。
  • mAR
    mAR则为对于所有类别的每一类的AR值求平均值。

三、官方解释

在这里插入图片描述

  1. 除非另有说明,否则AP和AR在多个交汇点(IoU)值上取平均值。具体来说,我们使用10个IoU阈值0.50:0.05:0.95。这是对传统的一个突破,其中AP是在一个单一的0.50的IoU上计算的(这对应于我们的度量APIoU=.50 )。超过均值的IoUs能让探测器更好定位。

  2. AP是所有类别的平均值。传统上,这被称为“平均准确度”(mAP,mean average precision)。我们没有区分AP和mAP(同样是AR和mAR),并假定从上下文中可以清楚地看出差异。

  3. AP(所有10个IoU阈值和所有80个类别的平均值)将决定赢家。在考虑COCO性能时,这应该被认为是最重要的一个指标。

  4. 在COCO中,比大物体相比有更多的小物体。具体地说,大约41%的物体很小(面积<322),34%是中等(322 < area < 962)),24%大(area > 962)。测量的面积(area)是分割掩码(segmentation mask)中的像素数量。

  5. AR是在每个图像中检测到固定数量的最大召回(recall),在类别和IoU上平均。AR与提案评估(proposal evaluation)中使用的同名度量相关,但是按类别计算。

  6. 所有度量标准允许每个图像(在所有类别中)最多100个最高得分检测进行计算。

  7. 除了IoU计算(分别在框(box)或掩码(mask)上执行)之外,用边界框和分割掩码检测的评估度量在所有方面是相同的。

四、通过指标可以得到什么信息

目标检测之coco评价指标_第2张图片

  1. 第一个值即为map值;
  2. 第二个值是iou取0.5的map值,是voc的评判标准;
  3. 第三个值是评判较为严格的map值,可以反应算法框的位置精准程度;
  4. 中间几个数为物体大小的map值;
  5. 对于AR看一下maxDets=10/100的mAR值,反应检出率,如果两者接近,说明对于这个数据集来说,不用检测出100个框,可以提高性能。

五、参考以及感谢

  1. https://www.bilibili.com/video/BV1ez4y1X7g2
  2. https://www.zhihu.com/question/53405779
  3. https://datascience.stackexchange.com/questions/25119/how-to-calculate-map-for-detection-task-for-the-pascal-voc-challenge
  4. https://cocodataset.org/#detection-eval
  5. https://blog.csdn.net/qq_37541097/article/details/112248194
  6. https://www.jianshu.com/p/d7a06a720a2b
  7. https://github.com/WZMIAOMIAO/deep-learning-for-image-processing/tree/master/course_ppt

你可能感兴趣的:(深度学习,深度学习,目标检测)