显著性检测算法综述

最近又对显著性检测的发展现状做了一些梳理，特整理于此。

参考了这篇文献：Borji A, Cheng M M, Jiang H, et al. Salient Object Detection: A Survey[J]. Eprint Arxiv, 2014, 16(7):3118.

    人类的视觉神经系统可以在复杂的场景中快速发现感兴趣的目标，这种具有选择的视觉能力称为视觉注意机制。计算机视觉研究的目的在于模拟人的视觉神经系统，使得计算机同样具有智能的视觉注意、理解能力。显著性检测是目前计算机领域的一个热点研究方向，其主要工作是通过建立一种视觉注意模型来模拟人类视觉系统。 

研究现状：

第一阶段：建立计算模型进行显著性检测。

        1998年，Itti等人提出了经典的显著性检测模型Itti模型^[1]，产生了跨认知心理学，神经科学和计算机视觉等多个学科的第一波浪潮。该模型的提出主要是受到灵长类动物早期视觉系统的神经结构和行为所启发而产生了视觉注意系统。其主要思想是对输入图像首先进行多个特征通道和多尺度分解，再进行滤波得到特征图，再对特征图融合得到最终显著图。

       2007年，Hou X等人提出SR方法^[2]，该方法利用谱残差模型进行显著性检测，该方法认为图像的信息都包含在图像的幅度谱信息中，因此从图像的幅度谱中减去先验知识的幅度谱，剩下的就是显著部分的幅度谱，进而得到显著区域。

一些经典算法，如Itti，SR，FT，GBVS的代码和显著性检测的数据集整理于此：点击打开链接

第二阶段：将显著性检测定义为二元分割问题来处理

2007年，T.Liu等人提出一种将显著性检测作为图像分割问题来处理的思路^[3]，自此出现了大量的显著性检测模型，掀起了显著性检测的第二波热潮。

2009年，Achanta R等人提出FT模型来进行显著性检测^[4]，此模型可以输出具有明确定义的边界的全分辨率显著图，通过保留来自原始图像的更多频率内容来保留这些边界。此方法利用颜色和亮度特征的中央周边算子来得到显著图，实施简单，计算效率高

2011年，Cheng M M等人提出了一种基于区域对比度的显著对象提取算法^[5]。该算法同时评估全局对比度差异和空间加权相干性得分来确定显著性区域，此算法是简单，高效，多尺度的，并且可以生成全分辨率，高质量的显著图。这些显著图被进一步用于初始化GrabCut的新颖迭代版本，以进行高质量的显著对象分割。

2012年，Perazzi F等人重新考虑了之前方法的一些设计选择，并提出了基于对比度的显著性检测的概念清晰且直观的算法^[6]。此算法由四个基本步骤组成：（1）将给定的图像分解为紧凑且感知均匀的元素，以抽象不必要的细节；（2）基于这种抽象，计算两个对比度度量，评估这些元素的独特性和空间分布；（3）从元素对比度中推导出显著性度的度量，该度量生成一个像素精确的显著图，它统一覆盖感兴趣的对象并始终分离前景和背景；（4）文章表明，完整的对比度和显著性估计可以使用高维高斯滤波器统一制定，这有助于此方法的概念简单性，并使其具有线性复杂性的高效实施。

第三阶段：基于深度学习进行显著性检测

       2015年，开始引入CNN进行显著性检测，与基于对比线索的大多数经典方法不同，基于CNN的方法消除了对手工特征的需求减轻了对中心偏见知识的依赖，因此被许多科研人员所采用。基于CNN的模型通常包含数十万个可调参数和具有可变接受字段大小的神经元。神经元具有较大的接受范围提供全局信息，可以帮助更好地识别图像中最显著的区域。CNN所能实现前所未有的性能使其逐渐成为显著性物体检测的主流方向。

      2015年，He S等人提出了一种新的超像素卷积神经网络方法，称为SuperCNN，可以有效地学习显著性的内部表示^[7]。与传统的卷积网络相比，SuperCNN有四个主要特性：首先，能够学习分层对比度特征；第二，恢复了超级像素之间的上下文信息；第三，受益于超像素机制，对密集标记的图像所需的预测数量大大减少；第四，通过利用多尺度网络结构检测显著性区域可以不受区域大小的约束。

       2017年，Hou Q等人提出了一种新的显著性检测方法，在HED（Holistically-Nested EdgeDetection）的基础上，增加了一种高层信息指导低层信息的Skip Layer结构，从而构建了一种简单，有效，快速的端对端的显著性物体检测网络结构^[8]。此方法注意到了边缘检测、语义分割和显著性检测几个领域的一些共性和最新的趋势: 1) 从局部分析逐渐过渡到的全局分析，2) HED中的Skip layer结构对高质量的输出很有帮助，3) 显式的让高层语义信息去指导和帮助低层语义信息更好的定位显著性物体位置的同时精确的确定其范围很有帮助。

参考文献

[1] Itti L, Koch C, Niebur E. A model ofsaliency-based visual attention for rapid scene analysis[M]. IEEE ComputerSociety, 1998.

[2] Hou X, Zhang L. Saliency Detection: ASpectral Residual Approach[C]// Computer Vision and Pattern Recognition, 2007.CVPR '07. IEEE Conference on. IEEE, 2007:1-8.

[3] Liu T,Zheng N, Wei, et al. Video attention: Learning to detect a salient objectsequence[C]// International Conference on Pattern Recognition. IEEE, 2009:1-4.

[4] AchantaR, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[J].2009, 22(9-10):1597-1604.

[5] Cheng MM, Zhang G X, Mitra N J, et al. Global Contrast Based Salient RegionDetection[C]. Computer Vision and Pattern Recognition. IEEE, 2011:409-416.

[6] PerazziF, Krähenbühl P, Pritch Y, et al. Saliency filters: Contrast based filteringfor salient region detection[C]// Computer Vision and Pattern Recognition.IEEE, 2012:733-740.

[7] He S,Lau R W, Liu W, et al. SuperCNN: A Superpixelwise Convolutional Neural Networkfor Salient Object Detection[J]. International Journal of Computer Vision,2015, 115(3):330-344.

[8] Hou Q,Cheng M M, Hu X, et al. Deeply Supervised Salient Object Detection with ShortConnections[J]. IEEE Transactions on Pattern Analysis & MachineIntelligence, 2016, PP(99):1-1.