3D目标检测实战 | 图解KITTI数据集评价指标AP R40(附Python实现)

1 准确率和召回率

首先给出$TP$、$FP$、$FN$、$TN$的概念

• 真阳性 True Positive $TP$
  预测为正(某类)且真值也为正(某类)的样本数，可视为$\mathrm{IoU}>\mathrm{Io}{\mathrm{U}}_{\mathrm{threshold}}$的检测框数量
• 假阳性 False Positive $FP$
  预测为正(某类)但真值为负(另一类)的样本数，可视为$\mathrm{IoU}\le \mathrm{Io}{\mathrm{U}}_{\mathrm{threshold}}$的检测框数量
• 真阴性 True Negative $TN$
  预测为负(不是某类)且真值也为负(不是某类)的样本数
• 假阴性 False Negative $FN$
  预测为负(不是某类)但真值为正(某类)的样本数，即在真值区域没有给出检测框

基于上述概念给出准确率和召回率的计算方法

• 准确率 Precision

$$P=\frac{TP}{TP+FP}$$

• 召回率 Recall

$$R=\frac{TP}{TP+FN}$$

准确率$P$又称为查准率，反映了目标检测的正确性；召回率$R$又称为查全率，反映了目标检测的泛化性。

查准率高且查全率高

查准率高但查全率低

查准率低但查全率高

2 P-R曲线的绘制

P-R性能也称为准确率-召回率性能，或称查准率-查全率性能，常用于信息检索、Web推荐引擎等应用中。体现P-R性能的主要是P-R曲线，P-R曲线是用于评估二分类模型性能的重要工具，它展示了在不同阈值下模型的准确率和召回率之间的变化关系

P-R曲线的绘制过程是：将预测置信度从高到低排序，依次选择置信度为预测阈值(即大于该阈值的判定为正样本，否则为负样本)，计算该阈值下的TP、FN、FP，从而得到准确率和召回率，从高到低移动阈值形成P-R曲线

以一个实例说明绘制过程

假设有10个样本，其中正负样本各5个，按照预测置信度从高到低排序，依次计算准确率和召回率

将形成的(Precision, Recall)坐标对画到坐标系上可得

随着样本增加，折现会趋于曲线

3 AP R11与AP R40标准

P-R曲线围成的面积称为平均准确率(Average Precision, AP)，用于衡量模型的综合性能

对于面积的计算，一种方法是积分，但由于曲线形态各异，积分比较耗费计算资源；另一种方法是离散化求和，即用若干个矩形面积来近似曲线下面积

具体的公式为

$$AP{\mid }_R^{}=\frac{1}{\left|R\right|}\sum _{r\in R}{\rho }_{\mathrm{inter}}\left(r\right)$$

其中$R=\left\{r_1,r_2,\cdots ,r_n\right\}$是等间隔的召回率点，$R_{11}$和$R_{40}$分别指

$$\begin{gathered} R_{11}=\left\{0,\frac{1}{10},\frac{2}{10},\cdots ,1\right\} \\ {R}_{40}=\left\{\frac{1}{40},\frac{2}{40},\frac{3}{40},\cdots ,1\right\} \end{gathered}$$

相当于把召回率等分为$\left|R\right|$个矩形，高度为P-R曲线在该召回率点的准确度。但问题是可能原曲线在该点没有计算准确度指(因为本质上还是离散曲线)，因此就引入准确度插值函数

$${\rho }_{\mathrm{inter}}\left(r\right)=\underset{r^{\prime }:r^{\prime }>r}{\max }\rho \left(r^{\prime }\right)$$

就是取召回率为$r^{\prime }$的位置之后所有准确率的最大值，作为该点的插值准确率，相当于把P-R曲线化成阶梯矩形，如下图蓝色曲线所示，接着按公式计算即可

$R_{40}$一定程度上削弱了$R_{11}$在准确率很低时，AP结果仍然很高的情况，举例而言

假设一个场景中有20个Ground Truth，但是算法只给出了一个检测结果，且检测的IoU大于阈值，即这是一个TP样本。该置信度下，$Precision=1.0$，$Recall=\frac{1}{20}=0.05$

• 计算$AP{\mid }_{R_{11}}^{}=\frac{1}{11}=0.0909$，这里的1对应$R_{11}$中召回点0，而这个准确率已经超过了很多单目3D检测算法的准确率，显然不合理

• 计算$AP{\mid }_{R_{40}}^{}=\frac{1+1}{40}=0.05$，这里的1对应$R_{40}$中召回点$\frac{1}{40}$和$\frac{2}{40}$

目前KITTI官方也认可了$AP{\mid }_{R_{40}}^{}$指标，后续基本也采用$AP{\mid }_{R_{40}}^{}$进行实验评估

以下是KITTI数据集AP检测的实例

Car [email protected], 0.70, 0.70:
bbox AP:90.7769, 89.7942, 88.8813
bev  AP:90.0097, 87.9282, 86.4528
3d   AP:88.6137, 78.6245, 77.2243
aos  AP:90.75, 89.66, 88.66
Car [email protected], 0.70, 0.70:
bbox AP:95.5825, 94.0067, 91.5784
bev  AP:92.4184, 88.5586, 87.6479
3d   AP:90.5534, 81.6116, 78.6108
aos  AP:95.55, 93.85, 91.33

解释如下：

• 第一行 Car [email protected], 0.70, 0.70

  Car表示类别，AP表示基于AP R11的平均准确率，后面三个0.70分别指代2D检测框、BEV检测框和3D检测框的IoU阈值，即大于这个阈值才认为是正样本

• 第二、三、四行
  每一行指代一种检测模式，即2D检测框、BEV检测框和3D检测框，每一行的三个数值分别对应Easy、Moderate和Hard三种检测难度的的结果，难度越大(例如遮挡严重)，检测准确度越小

• 第五行
  aos表示平均朝向相似度(average orientation similarity)，用于评价预测输出的朝向与真实框朝向的相似程度

4 实际案例

在KITTI数据集中，按以下步骤计算AP数值

1. 计算IoU，这部分原理参考3D目标检测实战 | 详解2D/3D检测框交并比IoU计算(附Python实现)

   frame_overlaps, parted_overlaps, gt_num, dt_num = iou(gt_annos, dt_annos, method, num_parts)
   

2. 以0置信度阈值计算置信度列表，即只要IoU符合条件的都视为TP样本，提取其置信度评分

   rets = compute(frame_overlaps[i], gt_data_list[i], dt_data_list[i],
                       ignored_gts[i], ignored_dts[i], min_overlap=min_overlap, thresh=0.0)
   _, _, _, _, scores_i = rets
   

3. 对置信度列表均匀采样41个点，得到40个召回点对应的置信度阈值

   thresholds = getThresholds(np.array(scores), valid_gt_num)
   
   def getThresholds(scores: np.ndarray, num_gt, num_sample_pts=41):
       scores.sort()
       scores = scores[::-1]
       current_recall = 0
       thresholds = []
       for i, score in enumerate(scores):
           l_recall = (i + 1) / num_gt
           if i < (len(scores) - 1):
               r_recall = (i + 2) / num_gt
           else:
               r_recall = l_recall
           if (((r_recall - current_recall) < (current_recall - l_recall))
                   and (i < (len(scores) - 1))):
               continue
           thresholds.append(score)
           current_recall += 1 / (num_sample_pts - 1.0)
       return thresholds
   

4. 遍历每个阈值，计算该阈值下的TP、FP和FN，从而计算准确率和召回率

   for i in range(len(thresholds)):
       recall[m, l, k, i] = pr[i, 0] / (pr[i, 0] + pr[i, 2])
       precision[m, l, k, i] = pr[i, 0] / (pr[i, 0] + pr[i, 1])
       if compute_aos:
           aos[m, l, k, i] = pr[i, 3] / (pr[i, 0] + pr[i, 1])
   

5. 取PR曲线外接矩形

   for i in range(len(thresholds)):
       precision[m, l, k, i] = np.max(precision[m, l, k, i:], axis=-1)
       recall[m, l, k, i] = np.max(recall[m, l, k, i:], axis=-1)
       if compute_aos:
           aos[m, l, k, i] = np.max(aos[m, l, k, i:], axis=-1)
   

6. 计算AP

   def mAP(prec):
       sums = 0
       for i in range(0, prec.shape[-1], 4):
           sums = sums + prec[..., i]
       return sums / 11 * 100
   
   def mAPR40(prec):
       sums = 0
       for i in range(1, prec.shape[-1]):
           sums = sums + prec[..., i]
       return sums / 40 * 100
   

本文完整工程代码请通过下方名片联系博主获取

---

更多精彩专栏：

• 《ROS从入门到精通》
• 《Pytorch深度学习实战》
• 《机器学习强基计划》
• 《运动规划实战精讲》
• …

源码获取 · 技术交流 · 抱团学习 · 咨询分享 请联系