论文翻译《Salient object detection: A survey》

传统的方法：

可大致分为三类：基于block和intrinsic cues的模型、基于region和intrinsic cues的模型、基于extrinsic cues的模型（包括block和region）。

• 基于block和intrinsic cues的模型

Itti等人提出的开创性工作[1]之后，大多数模型都是基于中央周边差操作。[2]中用特征的极坐标变换将输入图像表示在一个二维空间中，里面的每一个区域被映射到一维的线性子空间中，之后利用广义的主成分分析[3]来对这个线性子空间进行估计，最后通过测量特征的对比和区域的几何性质来产生显著性区域。还有[4]和[5]，[4]的方法是无参数的，只需要非常简单的像素操作，如边缘检测，阈值分解和二值化矩保持。[5]利用一种基于等距图的框架，其中显著图是通过线性计算显著图曲线，颜色增强和等中心聚类来估计的。

之后[6]（FT）提出了频率调制的方法来产生全像素的显著性图。[7]和[8]利用多尺度对比来提高鲁棒性，建立多层的高斯金字塔，通过公式计算每一个像素的显著性得分。

即使利用多尺度信息，pixel级的内在线索在显著性计算任务中依然显得乏力。于是提出了patch级的处理方法。[9]提出了信息理论的方法，利用KL聚类算法计算灰度、颜色和方向的中央周边差特征分布。[10]将中央周边差操作看作成本敏感的最大边界分类问题，用SVM来实现。

[11]（CA）用与其他区域的对比度来定义patch的显著性，如果一个patch和与他最相似patch的差别都很大的话，那么这个patch就是显著性区域，同时考虑了空间因素。[12]中提出在高维空间中，不痛同patch更加分散，而相同的区域则更加靠近。基于这一观察，计算区域与平均区域的距离来作为这个区域的显著性，一个patch的显著性是通过在图像主分量上将它的path投射到平均patch上来度量的。

总的来说，基于block/patch和intrinsic cues的模型有两方面的问题：Ⅰ. 边界（通常具有高对比度）会显著性计算。Ⅱ. 显著性区域的边界不能很好的保留。为了克服这些问题，提出了基于region的模型，有两个好处有：Ⅰ. region的数量比block/patch要少很多，这有助于实现一个高效快速的算法。Ⅱ. 在region区域中更有可能提取出信息量大的特征。

• 基于region和intrinsic cues的模型

用基于图的图像分割算法[13]、Mean shift[14]、超像素分割[15]和Turbopixels算法[16]等来产生region。通常先将输入图像分割成不同灰度的区域，然后计算区域显著性图。

[17]中region显著性是计算其包含的像素的显著性的平均，通过多尺度显著性的对比来计算像素的显著性。[18]通过observation提出了一系列的规则来计算每一个region背景的得分。

在那之后提出了一些通过global regional contrast来计算显著性区域的算法。[19]提出了HC和RC算法，HC算法中每一个像素的显著性通过计算该像素与其他像素在LAB颜色空间中的距离来计算。RC算法中加入了空间域信息。[20]（SF）提出可以使用高效的基于过滤的技术来计算HC和RC中的显著性，即利用[21]中的方法。

除了颜色信息，也加入的纹理[22]和结构信息[23]，[24]提出了计算region和patch来构建显著性。在[25]中提出了一种soft abstraction，利用直方图量化和高斯混合模型来生成一组大尺度的感知均匀区域，而不是保持每个像素的hard region index。通过避免超像素的硬决策边界，这种软抽象提供了较大的空间支持，从而产生更加均匀的显著区域。（？）

[26]中提出了一种基于multi-scale local region contrast的算法，通过计算多尺度的显著性来增加鲁棒性，结合这些region的显著性来计算出一个像素级的显著性图。[27]和[28]也采用了类似多层次分割的办法。[29]通过构建hypergraph扩展成对的局部对比，hypergraph由超像素的非参数多尺度聚类构造，来同时捕获区域的internal consistency和external separation。显著目标检测被描述为在hypergraph中寻找salient vertices和hyperedges。

显著性区域也可被定义为sparse noises在特定的特征空间中，这个特征空间将输入图片表示为低秩矩阵。这样做基本的假设是背景区域可以被解释为低秩矩阵，而显著性区域用稀疏噪声表示。基于这个低秩基本假设框架，[30]提出了一个统一的方法将传统的底层次特征与高层的指导结合起来（e.g., center prior, face prior 和 color prior），用学习到的特征变换来检测显著的目标。相似的，[31]提出了一种树状结构的稀疏诱导范数正则化方法，来分层描述图像结构，以统一突出整个显著性对象。[32]与[30]不同的是，[32]建议利用自底向上分割作为低秩矩阵恢复的指导线索，以达到鲁棒性目的。

除了计算图中的uniqueness，越来越多的先验信息被引显著性检测。[8]中提出了Spatial distribution prior，也就是说，一种颜色在图像中分布的越广泛，那么显著性物体越不可能包括这种颜色。超像素区域的空间分布可被高斯滤波在线性时间内高效评估，跟RC中显著性区域的计算公式相似。

中心分布假设显著性物体更有可能出现在图片中心，背景区域则远离中心区域。因此backgroundness prior也被加入到了显著性检测中，图像的狭窄的四个边界包括的区域是背景区域（i.e., the pseudo-background，伪背景）。基于伪背景，显著性区域可以通过与背景区域的比较获得。[33]中提出了一种两阶段的基于无向加权图的流形排序计算框架，通来计算显著性区域。在第一个阶段，区域显著性得分被定义为该区域与图像伪背景的query。第二个阶段，每个区域的显著性得分定义为与第一步计算出的前景区域的相关性。[34]中的显著性计算被定义为与伪背景的稠密与稀疏重构的误差。每个区域的稠密重构误差是基于背景模板的主成分分析来计算的，而稀疏重构误差则表示为基于背景模板稀疏表示的残差。这两种类型的重构误差在多次分割后传播到像素上，融合形成最终的显著性图。[35]通过吸收马尔可夫链来实现显著性检测。其中暂态节点和吸收节点分别是图像中心和边界的超像素区域。每个超像素区域的显著性被定义为暂态节点到马尔可夫链吸收节点的吸收时间。

除了这些方法外，通用的objectness prior（这种先验通常由学习获得）也被用来通过利用对象的proposals来促进显著的对象检测[36]。[37]提出一种计算框架，通过将对象和区域显著性融合到图形模型中。这两部分通过迭代最小化能量函数来共同近似，这个能量函数编码了他们的相互作用关系。在[38]中，区域对象度被定义为其所包含像素的平均对象度值，并将其纳入区域显著性计算中。[39]根据对象性先验，将其与“soft”前景和背景相比较，计算每个区域的显著性。

基于伪背景假设的显著性检测在显著性物体包含边界时就会失效。为此，一种boundary connectivity prior被提了出来。一般来说，跟背景相比显著性物体连接到伪背景的可能性更低。因此，一个区域的boundary connectivity得分根据这个区域在边界上的长与这个区域的the spanning area的比例来估计[40]。可以根据其到伪背景区域和其他区域的测地线距离来分别具体计算。这些得分被整合到一个二次函数中，得到最后优化的显著性图。boundary connectivity prior作为segmentation prior用在[32]中，作为surroundness用在[41]中。

为了吸引更多的注意，一个突出的物体经常被对准焦点拍摄，这就是focusness prior。[38]根据焦距模糊的程度，来计算focusness prior。通过将这种去聚焦模糊建模为锐利图像与点扩展函数的卷积，用高斯核近似，像素级清晰度被转换为通过尺度空间分析估计高斯核的标准差。区域焦点分数通过传播边界和内部边缘像素的焦点和/或锐度来计算。显著性评分最终由独特性（全局对比）、客观性和关注度评分的非线性组合得到。

基于region的显著性物体检测的性能可能会受分割参数的影响。除了基于多尺度的方法， [42]通过求解facility location problem，提取出单尺度的潜在显著区域。在这个方法中，一张输入图片一开始被表示为超像素的无向图，然后通过凝聚聚类产生一个更小的候选区域中心集合。在这个集合中，构建一个子模块目标函数来最大化相似性。通过贪婪算法，目标函数不断整合超像素进region来迭代优化，这些region的显著性值进一步通过区域全局对比和空间分布来衡量。

基于的贝叶斯框架也被引入显著性计算[43][44]，通过计算输入图像每个像素的后验概率来估计。为了估计显著性先验，首先需要将显著性点包括进一个凸包，也就是包裹进所有的显著性点。这个凸包外面的部分可以被粗略地估计为背景而里面的部分被粗略地估计为前景，用来进行似然计算。[45]采用一个优化地框架来检测显著性物体，也采用了一个凸包来粗略估计前景和背景。然后，从图像中学习saliency seeds，同时从背景区域和先验知识中学习一个guidance map。利用这些线索，引入一个一般的带有狄利克雷边界的线性椭圆系统来模拟种子向其他区域的扩散，从而生成显著性映射。

在这一小节中的所有模型中，一方面主要用三种算法产生区域用来实现显著性计算。基于图的分割算法、mean-shift算法、聚类算法可以生成大小不一的不规则区域。另一方面，超像素算法逐渐成熟，可用SLIC[15]、Turbopixel[16]将具有像素集合成相当大小的紧凑区域。这两种类型的区域的主要区别是region的大小是否会对结果有影响。此外，soft region也被考虑用于显著性分析，其中每个像素都保持属于所有区域（分量）的概率，而不仅仅是一个hard region标签（如用GMM拟合）。为了进一步增强分割的鲁棒性，可以通过多次分割或分层生成区域。通常来说，单尺度分割更快，多尺度的分割可以提高性能。

uniqueness仍然是使用的最频繁的特征，以全局和局部对比的形式，通常用来衡量区域的显著性。此外，越来越多的区域显著性的先验被加入到研究中，以提高整体表现。比如，backgroundness，objectness，focusness和boundary connectivity，这些先验知识也是使模型性能优于基于block显著性模型的原因。此外，region提供了更复杂的线索（如颜色直方图），以更好地捕捉场景的显著对象，而不是像素和补丁，另一个好处是效率会高。由于图像中区域的数量远小于像素的数量，在region计算显著性可以显著降低计算成本，同时生成全分辨率显著性图。

 

 

 

 

 

 

 

 

 

 

 

 

 

[1]《A model of saliency-based visual attention for rapid scene analysis》

[2]《Robust subspace analysis for detecting visual attention regions in images》

[3]《Generalized principal component analysis (gpca)》

[4]《“GrabCut”: interactive foreground extraction using iterated graph cuts》

[5]《Image saliency by isocentric curvedness and color》

[6]《Frequency-tuned salient region detection》

[7]《Region enhanced scale-invariant saliency detection》

[8]《Learning to detect a salient object》

[9]《Center-surround divergence of feature statistics for salient object detection》

[10]《Contextual hypergraph modeling for salient object detection》

[11]《Context-aware saliency detection》

[12]《What makes a patch distinct?》

[13]《Effificient graph based image segmentation》

[14]《Mean shift: A robust approach toward feature space analysis》

[15]《Slic superpixels compared to state-of-the-art superpixel methods》

[16]《Turbopixels: Fast superpixels using geometric flflows》

[17]《Region enhanced scale-invariant saliency detection》

[18]《A rule based technique for extraction of visual attention regions based on real-time clustering》

[19]《Global contrast based salient region detection》

[20]《Saliency fifilters: Contrast based fifiltering for salient region detection》

[21]《Fast high-dimensional fifiltering using the permutohedral lattice》

[22]《Statistical textural distinctiveness for salient region detection in natural images》

[23]《Pisa: Pixelwise imagesaliency by aggregating complementary appearance contrast measures with spatial priors》

[24]《What makes a patch distinct?》

[25]《Effificient salient region detection with soft image abstraction》

[26]《Automatic salient object segmentation based on context and shape prior》

[27]《Saliency detection via dense and sparse reconstruction》

[28]《Hierarchical saliency detection》

[29]《Contextual hypergraph modeling for salient object detection》

[30]《A unified approach to salient object detection via low rank matrix recovery》

[31]《Salient object detection via low-rank and structured sparse matrix decomposition》

[32]《Segmentation driven low-rank matrix recovery for saliency detection》

[33]《Saliency detection via graph-based manifold ranking》

[34]《Saliency detection via dense and sparse reconstruction》

[35]《Saliency detection via absorbing markov chain》

[36]《From co-saliency to co-segmentation: An effificient and fully unsupervised energy minimization model》

[37]《Fusing generic objectness and visual saliency for salient object detection》

[38]《Salient region detection by ufo: Uniqueness, focusness and objectness》

[39]《Category-independent object-level saliency detection》

[40]《Saliency optimization from robust background detection》

[41]《A boolean map approach》

[42]《Submodular salient region detection》

[43]《Segmenting salient objects from images and videos》

[44]《Bayesian saliency via low and mid level cues》

[45]《Adaptive partial differential equation learning for visual saliency detection》