A Bi-directional Message Passing Model for Salient Object Detection

相关工作

局部超像素与全局提议的组合来推测显著性图；
将低级空间特征嵌入cnn提取的特征，等。
作者由此提出基于各个层次特征图加权融合的模型并加入了双向信息传递，从高层语义到底层边缘信息，以及反向传递。

模型结构

该模型建立在一个基于vgg16的fcn结构作为预训练模型，利用vgg16产生多尺度特征图，其中删去了所有全连接层以及最后一个池化层，得到5个层次的特征图。然后对每个特征图进行上下文语义特征提取(MCFEM)，为了整合信息提出了双向信息传递模型（GBMPM）。最后由高层向底层特征融合得出显著性图。

多尺度上下文感知特征提取

将vgg16输出的5层特征图分别进行上下文感知特征提取，采用了4个不同膨胀率空洞卷积层进行空洞卷积，详细参数如下

因为空洞卷积具有更大感受野，基本等效于增大卷积核尺寸却不增多参数。

门控双向信息传递

即高层语义特征指导底层边缘信息，帮助定位显著性区域，而底层边缘信息则帮组高层特征重建目标细节。之前有人做过特定两层之间的信息双向传递，而本文作者对每层都做了双向传递。考虑到不同层之间分辨率不同，在信息传递时分别做了上、下采样。从低层向高层传递公式

操作包括对上一层传递来的hi-1与本层特征hi分别卷积并使用relu激活后下采样至下一层分辨率尺寸(初始层的上一层h置0)。由高层向底层传递公式则相反

从两个方向传递来的信息融合

操作包括将两个方向传递的特征图先拼接在卷积并进行relu操作。

但是不同尺度下的特征图会有不同，因此在传递信息是需要加权也就是添加门操作(融合时也需要)，修正后公式

作者目标是通过增加门函数，使得只有有用的信息才被传递，而不准确的信息则被过滤掉(有效性？)。

显著性推理

有直接把各层显著性图上采样至原图大小相加的，作者融合特征图时加多了一个卷积操作

损失函数

其中l是(x,y)处标签，p则是其属于前景的概率。

实验结果

采用DUTS的训练集做训练，前13个卷积层用vgg16的参数初始化，其他的用truncated正则方法初始化，上、下采样使用双线性内插。

方法有效性实验

总结

思路是多尺度的特征融合，借鉴了一篇目标识别文章中中信息双向传递，使每个尺度特征图具有全局与细节信息，特征提取时采用空洞卷积，特征融合时也用到卷积。但感觉双向传递带来一些冗余信息。