【显著性物体检测】【CVPR2018】A Bi-directional Message Passing Model for Salient Object Detection【论文笔记】

论文链接

摘要：本文提出了一个新的网络用于整合多级特征进行显著性物体检测。首先采用多尺度上下文感知特征提取模块（MCFEM）让多级特征图获取丰富的上下文信息。然后一个双向结构用于在多级特征之间传播信息，且有一个门函数来控制信息的通过率，使得信息传递之后的特征，即编码了语义信息有结合了空间细节。最后，预测的结果图进行有效的结合，以产生最终的显著图。

MCFEM（Multi-scale Context-aware Feature Extraction Module）

• 传统全卷积只是堆叠卷积层和池化层来提取特征，并没有包含丰富的上下文信息。

GBMPM（ Gated Bi-directional Message Passing Module）

• 传统卷积方法主要依靠高级特征，而没有利用到低级的特征，从而导致显著图中物体的边界信息丢失。
• HED结构，仅仅使用从深层向浅层进行信息传输，忽略了浅层向深层传输的作用
• 多级特征之间的直接连接不是最优的方法，不精确的信息可能会降低性能。

网络整体结构：

首先时传统的全掉全卷积和最后一次池化的VGG16，然后经过MCFEM模块，得到各级特征图，在经过双向的信息传递，得到最后的特征图，最后从深层向底层进行特征图的结合，从而得到最终的特征图。

 MCFEM

只是通过卷积与池化的堆叠，难以应对尺度、形状、位置的变化。

使用金字塔池化来提取多级特征，但多尺度的池化会造成重要信息的丢失。

因此，我们采用多重空洞卷积学习物体信息以及图像背景。使用不同的dilation rate 拼接起来得到128维的输出。

 GBMPM

图中的h分别由下列公式得到上标为1的从低级到高级传播，由于低级特征尺度较大，在与门函数做点积之后，与更高级的特征相加再进行降采样，得到上标加一的h。上标为2的，从深层向浅层传播，特征图越来越大，所以进行上采样。

最终结合两个方向传播的特征图，从而得到最终的特征图，但并不是最终的显著图。

下式为门函数 ，门函数也有channel数，因此每个channel的门函数都是单独的。

 显著性推断：采用从粗到精的过程，由于显著性物体检测，需要更多检测物体的边缘，我们，从高级向低级进行特征图融合，使用卷积以及上采样。

同行对比，一句话：我们是最好的

 溶解实验：验证了MCFRM的提升，以及空洞卷积的好处。验证了双向传播的有用性。以及要两个一起才最好(●'◡'●).

有意思的点：

1 采用了DHS一样的数据增强方式，说明数据增强还是很有用的。

2 信息的双向传播，低级指导高级，高级指导低级，比较新颖。