「论文阅读笔记」Salient Object Detection with Pyramid Attention and Salient Edges

这是一篇来自于阿联酋的研究所与北京理工大学（一作二作）联合出品的2D显著性检测文章

从题目可以看出作者使用金字塔的注意力机制和显著边缘来进行显著性检测的

其主要的思路在于在传统的top-down的CNNs模式下，在每一层的侧输出中使用attention和边界检测来分等级的细化显著性特征图

作者强调这一点的好处是可以“继承”上一层的attention的显著区域

---

问题

First, feature representation is the crux of deep learning based saliency models, and it is always desirable to explore more efficient strategies for approaching scale-space feature learning problem.

Unlike the existing work, we propose a novel pyramid attention model that inherits the featureenhancing ability of attention mechanisms

Second, it is also desirable to find an effective means of enhancing the sharpness of salient object detection results.

 

总之，作者提出的问题在显著性检测领域是两个老生长谈的问题，第一个是如何更有效利用multi-scale信息，基于这一点，作者提出了第一个贡献点，也就是利用attention机制，在每一层的侧输出使用，这样就能让这一层的attention能够继承到下一层，从而特征表达最大化；第二点这是对应着第二个贡献点，提出一个显著检测边缘模块,来提升模型对于边缘的敏感性。

从图我们看出这两个模块可视化的结果，（b）是第一点，（f）和（g）是第二点。

 相关工作

Salient Object Detection

One distinct difference of our method from the existing studies lies in the salient-edge-preservation property. Current saliency network architectures tend to stack multi-layer features. Although the final prediction layer accesses multiscale and multi-level information and produces more precise saliency segmentation, the issue of sharpening remains unsolved due to the smoothness of convolution kernel and downsampling of spatial pooling.

For example, Zhang [53] et al. simply used an extra loss to emphasize the detection error for the pixels within the salient object boundaries. In [23], they considered semantic contour information from a pretrained contour detector [51]. By contrast, we extend each side-out layer with a salient edge detection module and learn the combination of edge and object information end-to-end.

这一部分作者主要是在比较之前的工作，按照作者的话来讲，他的工作最大的不同就是在边缘细化这一部分，现在工作主要是将multi-layer堆叠起来，最后利用这些特征最后进行预测，但是因为CNNs固有的池化和卷积操作会让边缘变差。像作者举例的论文中有些是用约束loss对边缘进行优化，而作者是利用attention完了之后的特征图边缘检测，从而使边缘更好。

模型

实验