论文阅读笔记——IoU-Net

论文阅读笔记——Acquisition of Localization Confidence for Accurate Object Detection（IoU-Net）

• 论文链接：https://arxiv.org/abs/1807.11590
• 代码地址：https://github.com/vacancy/PreciseRoIPooling

摘要
现代的基于CNN的目标检测器依靠边界框回归和非最大值抑制来定位目标。虽然类标签的概率自然地反映了分类的可信度，但缺乏定位的可信度。这使得适当的局部边界盒在迭代回归过程中退化，甚至在NMS过程中被抑制。本文提出了利用IoU-Net学习来预测每个检测到的边界框与匹配真实值之间的IoU。该网络获得了这种定位的置信度，通过保留精确定位的包围盒，改进了NMS算法。在此基础上，提出了一种基于优化的边界盒优化方法，以预测的IoU为目标。在MS-COCO数据集上进行的大量实验证明了IoU网络的有效性，以及它与多种最新目标检测器的兼容性和适应性。

1、Introduction

目标检测被描述为一个多任务学习问题：1）区分前景目标和背景，并给它们分配适当的类标签；2） 回归一组系数，这些系数通过最大化检测结果与真实值之间的交集（IoU）或其他度量来定位目标。3）通过非最大抑制（NMS）过程去除冗余的边界框（同一对象上的重复检测）。
两个问题：第一，在NMS过程中，位置分数通常被忽略，而分类分数通常被用作对建议排序的度量。 作者给出的fpn的检测结果中可以看出，黄色的框是gt，绿色的IoU更高，位置得分更高，但是类别得分却比红色的低，因此这些绿色的框在NMS阶段将会被移除，这有点不符真实情况（感觉）。

第二，位置置信度的缺失使得广义边界框回归的可解释性降低，多次边界框回归可能会退化到刚输入的边界框。

本文引入IoU-Net，预测检测到的边界框与其对应的真实框之间的IoU。

1. IoU是定位精度的自然标准。可以用预测的IoU作为NMS中的排名关键来代替分类置信度。IoU引导的NMS，有助于消除由误导性分类可信度引起的抑制失败。
2. 提出了一个基于优化的边界盒求精过程，在推理过程中，将预测的IoU作为优化目标，并作为定位置信度的可解释指标。提出的Precise RoI Pooling层能够通过梯度上升来解决IoU优化问题。

2、Method

IoU-Net

网络改进是将提出的PrPooling代替了原来的RoI pooling，并在第二阶段多出了一条IoU的分支。

IoU-guided NMS

（1）传统 NMS : 根据边界框的分类置信度排序，每次选择cls score最大的框，并对与它IoU大于阈值的框抑制。定位准确的边界框中有很大一部分会被错误抑制，这是由分类置信度和定位准确度之间的不匹配造成的，

（2）IoU-NMS : 使用预测得到的IoU来对预测框进行排序，每次选择IoU最大的框并对与它IoU大于一定阈值的框抑制。当要剔除一个预测框时，会计算被剔除框的分类得分和之前的计算的最高分类得分的最高值，保留最高的分类得分。即返回的IoU最大的预测框对应的分类得分不一定是该框对应的原始得分，而是以该预测框为依据剔除的框的最高分类得分。

1.D定义为空集
2.若B不是空集，执行下面
3.将B集合所有框中定位得分最高的框取出来
4.从B集合中去掉刚刚取出的那个框
5.取出定位得分最高的那个框的分类得分记为s
6.依次取出B中的框
7.将依次从B中取出的框与定位得分最高的框做IoU，若IoU大于阈值，则执行下面。
8.比较分类的分，将分类得分最高的那个分数赋值给定位得分最高的框（更新了s）
9.从B中去掉刚刚取出来的框
12.通过上述循环，遍历所有框，最终留下来的框具有最高定位得分，且更新该框的分类得分

Bounding box refinement as an optimization procedure

预测得到一个框，通过IoU-Net得到定位得分， 通过梯度上升法更新定位得分（PrPool能够直接计算关于边界框坐标的IoU的梯度）。

1.A定义为空集
2.T代表迭代步数
3.取出属于集合B不属于集合A 的检测框
4.输入整张特征图F及检测得到的框，使用PrPool得到检测框的特征图；再通过该网络得到定位得分。PrPool能够直接计算关于边界框坐标的IoU的梯度
5.记下当前的检测框的定位得分（要清楚这个得分代表的是与真实框的IoU，值越大越好）
6.梯度上升法，此时输出的bj相当于回归了一次
7.将回归后的框在计算一次定位得分

RoI Pooling：有量化误差
RoI Align：不用量化，利用双线性插值计算出对应点的特征值。 但N=4固定，ROI大小不固定。
PrRoI Pooling：利用双线性插值计算出对应点的特征值，该函数连续可导，有益于后续的基于优化的边框修正。

3、Experiment

相比于soft-NMS，采用了IoU-NMS的结果在AP90上明显提高了。

在AP50和AP60两个指标上，添加IoU-Net效果反而没有什么太大提升，如果进一步使用IoU-NMS和Refine算法，甚至会让结果更加劣化。作者给出的解释是在低IoU条件下，检测出来的结果方差很大，这需要结合原文中的一张图来理解，就是实际IoU和检测出来的位置置信度图：


速度对比，比FPN和Mask-RCNN的速度略慢，比Cascade R-CNN速度快。
参考链接：
https://www.cnblogs.com/SuckChen/p/9840927.html
https://zhuanlan.zhihu.com/p/43840130
https://zhuanlan.zhihu.com/p/45316739