Acquisition of Localization Confidence for Accurate Object Detection

一、多多每日必说的唠叨话

最近上课,老师各种风声,大吹特吹,detection已经要完了,光做detection是没有出路的。作为菜鸡的我在这个过程中是很迷茫的。遇到问题怎么办,看看paper,既然已经选择了这条路除了专业本身,就不要太多的去关注除此之外的事情。人生的机缘巧合,起落浮沉又岂是一个结论可以说的明白的。

最近在看detection,看了很多paper,也做了一些实验,确实产生了一些想法。我觉得这就是一个足够让我喜悦的过程。

二、正题

这篇paper,是一篇来自北大发表在2018ECCV上的论文,它的主要贡献就是提出了两个问题,提供了一种有效的解决办法。

废话说的够多了,下面先来看看这两个问题:

1)对于重复的建议框的抑制往往采用分类confidence而忽略了位置信息

2)非线性的位置信息回归

其实我第二个概念没有看太懂,什么是非线性的位置信息回归,从我的理解来看,这两个问题所诉说的都是同样的一个问题。

传统的detection主要可以分为这两个方向:1、区分前景和背景,对于前景的目标打上正确的标签。2、对于一系列目标做回归用于正确预测物体的位置。

在进行位置预测的过程中,由于传统得方法无论是RPN,FPN或者是其他的,通常最后会提出很多包含目标的候选框,这时候我们就需要通过nms(非极大值抑制)来确认最后的目标。但是在这个nms的过程中,往往我们只是运用分类的confidence作为nms的标准,我们忽略的位置信息的confidence!!!!!有没有发现,这很过分哎。有同学也许会对这个提出质疑,我觉得分类的正确性和位置的正确性之间应该会存在某种关系,或者位置信息就真的这么重要嘛。

给你看这个图;

Acquisition of Localization Confidence for Accurate Object Detection_第1张图片

你看这个图说明位置信息(IOU)与cls confidence之间没有明确的关系。

Acquisition of Localization Confidence for Accurate Object Detection_第2张图片

作者在前面还提供了几张图,这几张图说明nms最后剩下的往往拥有较高的cls confidence,可是他们的位置信息,也就是IOU却往往不是与真实最接近的这个选项,这个结果说明了利用位置信息进行非极大值抑制是很有必要的。

行了,问题是提出来了,那么怎么解决呢?

Acquisition of Localization Confidence for Accurate Object Detection_第3张图片

哎,这就是作者提出来的IOU-net了,整个网络与之前诸多的detection网络相比大同小异,只是多加了一个分支用于进行IOU的预测。IOU 预测分支,把FPN的输出信息作为输入,对于每个bbox预测位置信息。在网络中会先生存bbox和位置信息,并对其增广用来训练IOUnet部分。对于IOU小于0.5的bbox,我们在nms的过程中将其舍去。然后这些信息会被输入一个两层的前馈网络用于进行IOU的预测。

Acquisition of Localization Confidence for Accurate Object Detection_第4张图片

这是作者给出的IOU指导下的nms的代码

三、结论

Acquisition of Localization Confidence for Accurate Object Detection_第5张图片

可以看到,加了nms之后的网络,整体效果比之前的是有所提升的

学术交流可以关注我的公众号,后台留言,粉丝不多,看到必回。卑微小钱在线祈求

你可能感兴趣的:(深度学习——CNN,各种各样的网络,IOU,IOU-net,nms)