【论文】Spectral salient object detection
Fu K, Gong C, Gu I Y H,et al. Spectral salient object detection[J]. Neurocomputing, 2017:1-6.如需文献pdf可联系本人索要。
1、Introduction
saliency detection ，理解为图像的显著性检测，这个主题下主要有两个子方向：眼睛固视建模（eye fixation，不知道如何翻译）和显著物体/区域检测（salient object/region detection）。本文主要聚焦于后者。
目前现有的许多方法，都是通过采用某些预分割技术，结果区域/超像素随后被视为基本处理单元并被引入显着性计算。 这意味着不仅便于计算，而且还可以避免像素级噪声。但是这些技术聚焦于图像的局部特征，会破坏被检测出来的显著物体的整体性。只有与人类视觉感受一致、能保持物体整体性的预分割算法才能更精确地分割物体。被完整保留下来的物体也能使得特征提取和分析更加可靠。
文章提出使用Ncut（the normalized graph cut）方法，这种方法Rather than focusingon local features and their consistencies in the image data, Ncutaims at extracting the global impression of an image ，具有从物体级别分割图像内容的能力，具体参见参考文献：Shi J, Malik J. Normalized Cuts and Image Segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000, 22(8):888-905.
本文提出的分层次的光谱分类方法，基于：Ncut的全局分割能力和salient object的突出的有别于周边环境的颜色和纹理特性。本方法与其他方法的创新点在于：1）先利用Ncut来保持物体的整体性；2）在显著性建模的每一层加入了基于统计特性和图形-背景法则的判断度量。3）在测试集上展现了最先进的性能。
2、相关工作
相关工作主要分为无监督和有监督的SOD(salient object detection)。有各种各样的检测方法，具体可看论文。这些方法绝大部分都没有考虑到计算单元能否反映全局意义和物体的整体性。而也有一些将Ncut和saliency detection结合使用的，和本文的方法比较相近，不过它们都是先做检测再用Ncut，本文是先用Ncut再用saliency detection，且结果更佳。
3、Ncut简介
Ncut：归一化图切割理论。通过所有点的总边缘连接，来标准化图像切割的消耗。从而使
最小。
如前所述，Ncut以规范化的区分方式将图分成两部分。我们采用Ncut进行显着性检测，因为与基于聚类或基于合并的分割相比，预计会为显着对象检测生成更好的分割假设。
具体的原理请看原文献。
4、本文方法
本文方法示意图：
第一步：分解成N个SLIC超像素点（superpixels），同时进行边缘的检测(edge detection)。
原始图像表示为G=（V,E），V是由所有的超像素点组成，E是图像边缘的集合。
吸引权重矩阵：W，具体为：
其中B是边缘超像素点的集合，颜色吸引力和边缘吸引力分别定义为：
第二步：使用超像素点来获取构建捕捉了图像本质颜色和边缘信息的图。分层的光谱划分用于此图中来重复训练完整的物体，同时进行的还有每层的显著性评价。
第三步：得到的中间显着性图被整合/集成，然后通过基于图的半监督学习（第4.4节）进行细化，产生最终的显著性图。
下图表示了一个例子：超像素点、边缘检测和局部图像连接。
仅用Ncut和Constrained Ncut的效果并不是很理想：
因此需要further的分别方法。
下图显示了本文的分区策略。 在一个片段中分裂出两个不相似的顶点集(vertex sets)时会产生一个低成本的Ncut，所以在下一个层次结构中，我们选择呈现最低Ncut成本的区域（由图中的红色箭头突出显示） 并进一步实现Ncut，其亲和矩阵(affinity matrix)可以通过取原始亲和矩阵W的某些行和列中的元素来形成。逐渐地，随着Ncut被多次应用，将产生如下图所示的二元结构树。注意，在每个层次结构中，只有两个新的段来自先前的层次结构。 为了表示方便，我们使用在树中指定一个片段，表示它首先出现在具有标签n的第m层次中。
停止策略：To retain objects holistically, an ideal time toterminate the partition process is when entire objects are sepa-rated from the background. 然而在实际中，由于缺乏先验知识和对物体的定义，这个策略实施起来有困难。权衡的方法是使用所有新兴层次结构。 在不失一般性的情况下，假设整体对象的概率出现在所有新兴层次中是相等的，我们选择生成固定数量的层次结构。 一旦产生了二叉树的预定数量的“叶”，则连续的分割过程就停止。
显着性测量：分为3个部分。
M1：如果将图像边界视为“伪背景”，那么与图像的边界超像素高度区分的片段将被视为更突出。 设cmn表示Rmn的平均颜色。 这种颜色差异可以直观地测量为所有边界超像素的cmn和颜色之间的差异。然而，我们发现很难抑制背景区域，因为背景区域也可能与其他背景区域具有高对比度，例如，“跳跃的人”之后的“陆地” 与“天空”有很大差异。 为了解决这个问题，我们只考虑少量与Rmn颜色最接近的边界超像素。 这有效地抑制了颜色在边界超像素集合中频繁出现的部分，但仍可以突出显示颜色与所有边界超像素不同的部分。 具体而言，对于某个分部Rmn，M1定义为：
M2：根据人眼感受的特性，将处于越中心位置的分块视为显著物体可能性越大。
M3：利用figure-ground原理，被其他部分包围的分块很可能是前景，即凸显的部分，这些分块具有封闭的“轮廓”且不会触碰到凸显的边界。当R接触到>1个的边界时，就抑制它的显著性。
融合以上3种假设，设置最终的规则为：
每一个M都会产生一个中间的显著性热图，由于每一层中都会分裂产生新的segment，且与已经有的segment不兼容，所以每一层都可以采取增量计算的方式计算显著性图。如下图所示：
为了形成最终的显着性图，我们对所有中间显着性图进行求和，因为所有层次都被视为同等概率地保留对象整体。
为了进一步细化最终结果以保持超像素级细节，基于图的半监督学习方案被应用于基于G（原图像）来强化多方面的平滑性。半监督方案设计请参照原文，公式较多就不放了。
然后就是实验和对比，证明本方法表现出了最先进的性能。
文章大致内容思路就是这样的。文章中还提供了算法伪代码。应该算是一种较大型目标SOD的改进算法吧。文章的结果数据分析等比较到位，看起来还是比较用心做，算法的设计很有借鉴意义。实际应用方面略显薄弱。