Acquisition of Localization Confidence for Accurate Object Detection

一、多多每日必说的唠叨话

最近上课，老师各种风声，大吹特吹，detection已经要完了，光做detection是没有出路的。作为菜鸡的我在这个过程中是很迷茫的。遇到问题怎么办，看看paper，既然已经选择了这条路除了专业本身，就不要太多的去关注除此之外的事情。人生的机缘巧合，起落浮沉又岂是一个结论可以说的明白的。

最近在看detection，看了很多paper，也做了一些实验，确实产生了一些想法。我觉得这就是一个足够让我喜悦的过程。

二、正题

这篇paper，是一篇来自北大发表在2018ECCV上的论文，它的主要贡献就是提出了两个问题，提供了一种有效的解决办法。

废话说的够多了，下面先来看看这两个问题：

1）对于重复的建议框的抑制往往采用分类confidence而忽略了位置信息

2）非线性的位置信息回归

其实我第二个概念没有看太懂，什么是非线性的位置信息回归，从我的理解来看，这两个问题所诉说的都是同样的一个问题。

传统的detection主要可以分为这两个方向：1、区分前景和背景，对于前景的目标打上正确的标签。2、对于一系列目标做回归用于正确预测物体的位置。

在进行位置预测的过程中，由于传统得方法无论是RPN，FPN或者是其他的，通常最后会提出很多包含目标的候选框，这时候我们就需要通过nms（非极大值抑制）来确认最后的目标。但是在这个nms的过程中，往往我们只是运用分类的confidence作为nms的标准，我们忽略的位置信息的confidence！！！！！有没有发现，这很过分哎。有同学也许会对这个提出质疑，我觉得分类的正确性和位置的正确性之间应该会存在某种关系，或者位置信息就真的这么重要嘛。

给你看这个图;

你看这个图说明位置信息（IOU）与cls confidence之间没有明确的关系。

作者在前面还提供了几张图，这几张图说明nms最后剩下的往往拥有较高的cls confidence，可是他们的位置信息，也就是IOU却往往不是与真实最接近的这个选项，这个结果说明了利用位置信息进行非极大值抑制是很有必要的。

行了，问题是提出来了，那么怎么解决呢？

哎，这就是作者提出来的IOU-net了，整个网络与之前诸多的detection网络相比大同小异，只是多加了一个分支用于进行IOU的预测。IOU 预测分支，把FPN的输出信息作为输入，对于每个bbox预测位置信息。在网络中会先生存bbox和位置信息，并对其增广用来训练IOUnet部分。对于IOU小于0.5的bbox，我们在nms的过程中将其舍去。然后这些信息会被输入一个两层的前馈网络用于进行IOU的预测。

这是作者给出的IOU指导下的nms的代码

三、结论

可以看到，加了nms之后的网络，整体效果比之前的是有所提升的

学术交流可以关注我的公众号，后台留言，粉丝不多，看到必回。卑微小钱在线祈求