目标检测论文阶段性总结——IoU-Net

目录

背景

要点

1. IoU-Net

2. IoU-guided NMS

3. Optimization-based bounding box refinement

4. Precise RoI Pooling

---

背景

作者指出，此前主流的目标检测网络都由两步完成：目标分类和目标定位。其中，分类分支预测出“classification confidence”作为目标分类的依据；而回归分支只预测了针对proposal的变换系数以拟合目标位置，“localization confidence”是缺失的。这样带来两个问题：

1. 在NMS时，分类置信度通常会用作proposal排名的标准，可能导致与 GT box 拟合得更好的bounding box 因为类别得分较低而被抑制掉。

 2. 缺乏 localization confidence 使得被广泛使用的边界框回归方法缺少可解释性或可预测性。曾有学者指出，bounding box迭代回归是非单调的，即多次回归可能反而有损定位表现。

要点

基于以上问题，作者提出以下改进措施：

1）使用 IoU-guided NMS，用预测出的 IoU 作为 NMS 中的排名依据；

2）采取一种基于优化的bounding box改良步骤。

1. IoU-Net

训练 IoU 分支时，作者对 GT 采取数据增强，生成一个 candidate box 集合，从中取出与 GT 的 IoU < 0.5 的 box，再从集合中选取样本，以 IoU 值作为监督信息。

2. IoU-guided NMS

当要抑制掉一个 localization confidence (IoU) 值较小的 bounding box 时，会比较 该 box 与之前记录的最高 classification confidence，保留其中更高的分值更新 s。因此，返回的 IoU 分值最高的 bounding box 最终的 classification confidence 未必是其原始得分。

3. Optimization-based bounding box refinement

 来源：论文笔记：IOUnet_龙骑士尹志华的博客-CSDN博客_iounet

4. Precise RoI Pooling

利用双线性插值方法，作者将由连续坐标（x,y）点组成的 feature map 也看作连续的：

其中， 为某一离散点 (i,j) 的特征值，IC(x,y,i,j) 为插值系数：

关于 IC(x,y,i,j) ，只有当 |x-i|<1 且 |y-j|<1 时，IC才有非零取值，即只考虑 (x,y) 周围的4个点。

作者进一步改良了 RoI Align，通过积分的方式，对于 RoI 区域内所有的点做了积分。

 计算公式为：

 【注】PrRoIPooling 具有连续的导数。