【显著性物体检测】【ECCV2018】Reverse Attention for Salient Object Detection【论文笔记】

简介：在不怎么增加计算量的前提下，采用从粗到精的思想，由高级特征到低级特征，补全显著性检测的轮廓【最近很多都是基于这个思想】。模型的速度与效果都占优。具体关注，是怎么实现特征的多级利用的。

ECSSD上效果较好的模型F-measure与模型大小的比较

一开始作者给出这个图，突出本文模型效果好，F-measure高，而且参数量少，运行速度块。

【DSS：Deeply supervised salient object detection with short connections. 程明明教授的模型F-measure这么高= =怪不得Amulet论文里没拿来比较，不过DSS这篇文章确实厉害，2017年的CVPR，2019年的TPAMI】

网络结构如上图：首先backbone依然是VGG-16，去掉全连接层。

对于上图右上角的GlobalSaliency，对conv5进行pool之后，使用1x1的卷积将channel数降到256，然后使用三层5x5的卷积得到GlobalSaliency。

对于Side_output部分，首先介绍图中的R模块，如下图所示，高一级得到的显著图，【最开始为GlobalSaliency】，上采样之后用1减去使用sigmoid函数后的显著图，得到权重Ai = 1−Sigmoid(Si+1)，然后与每一个channell的特征进行点积。从而得到Weighted convolutional feature。

然后再对Weighted convolutional feature进行卷积 卷积参数如下表，D为2取得效果最佳。

 最后通过多重监督学习，计算从Global Saliency以及s-out1-5的显著性预测图与真图之间的损失函数，进行learning。

实验部分

指标：PR曲线，F-measure，MAE

性能：又快又好，值得注意的是DSS模型加上CRF取得的效果更好。作者很尊重事实，也没有回避这个。

溶解实验：D=2最好，s-out1的效果最好，有reverse attention性能更好。且速度非常快40+FPS

 

---

本文有意思的点：

1.对第五层卷积先得到一个特征图。扩大了显著图的感知域，再以后使用时可以先计算出模型的感知域对于结果的影响。这一点可以做做实验，说不定可以发现有意思的观点。

2.residual 的方法，对于以及检测为显著性物体的部分，取反对更低级的特征图进行MASK，使得只对当前没检测到的进行检测补全，而不怀疑当前检测的是否多余。好处：使得网络训练收敛会很快，显著图效果好的话，输出0就可以，这也是残差网络的优点。这种在图像上的残差，有点新颖= =我还没见过！   缺点：如果显著图有多余的部分，不能更正，肯会导致一些错误。当然，这也和目前显著性物体检测主要是检测的物体轮廓不全有关系。

3 对于信息的传递，特征提取部分，特征融合部分，创新十足的refine部分  都需要进行思考与设计，此外比如空洞卷积等增加信息的部分都需要很好的利用，才有可能提升网络的效果。