图像显著性论文（四）—Context-Aware Saliency Detection

一直想默默的学习，不去理会太多东西，但是外界的影响还是蛮大的，各种找工作，实习，自己还待在实验室研究自己喜欢的东西，心情有点浮躁，又想赶快学好后可以亮一下剑，又感觉理论的东西不能太多急躁，要学扎实，还真不知道应该怎么办，目前来看也只能顺其自然了，多看点，多学点，多发点论文，对得起自己，将来找工作也有得讲，真心不容易啊，我们还是继续看我们的显著性论文吧。

今天讲的这篇论文是2010年CVPR上的一篇显著性论文，主要的贡献就是将几个已存在的方法融合在一起（local saliency map+global saliency map），即是我们所说的组合创新，而且结合了上下文的方法，增强了显著性区域附近的显著点，主要根据四大准则来实现，不过运行效率很一般，不知是否是自己电脑问题还是本身算法问题。

1 引言

本文一开始概括性的介绍了两类显著性方法，一类是计算图像注视点的方法，主要应用是对图片的自动聚焦，另外一类是计算图像显著性区域，对图像识别和分割很有用处。但除了这两类外，作者提出了上下文的方法，有一些图像显著性目标旁边的区域也很重要，如下图所示。

第一行图像为原图像，第二行图像为对于图像的文字说明，第三行图像为显著性目标的提取，第四行为本文的方法。

由图片可以看出，本文的方法最能体现图片要表达的意思。所以说显著性图片的提取，不只提取显著性目标，还需要提取包含语意部分的背景区域。基于上下文显著性特征最主要的意思即图像中某一特征既要与领域特征有很大区别也要与全局特征有很大区别。文章最后将本文的显著性图融入到两种应用中去，分别是retargeting和summarization。

2  原理

该论文主要根据四大准则来实现，如下图所示

1、局部对比，主要包括对比度和颜色的对比，具有不同颜色和模式的区域对应显著性值高，均匀或模糊区域显著性值低；

2、全局对比，抑制经常出现的特征，保持不同的特征

3、显著的像素应当聚集在一起，而不是遍布整幅图像

4、后期处理，如人脸识别

图a为输入图像；图b为Local方法，未考虑全局，没有抑制经常出现的特征，所以显著性区域较多；图c为Global方法，与Local方法相反，未考虑局部对比，抑制太多特征，于是显著性区域较少，图d为两种方法的结合，相对较好。图e为文章给出的方法，更能体现出显著性。

3 上下文感知显著图检测

这里的比较不再以像素点的之间的比较，而是以块之间做比较，将图片切分成多个块，将i所对应的块Pi与所有的其他块Pj在Lab颜色空间做对比，如果Pi块与其他块差距大，则说明是显著性特征。计Dcolor（Pi，Pj）为块Pi和块Pj之间的颜色距离。现在只考虑到（1）（2）条规则，接下来考虑第三条规则，即空间距离的问。和背景区域相似的区域有可能离背景区域距离近也有可能远，但是与显著性区域相似的区域一般都离得比较近，根据这些规则我们可以定义Dposition（Pi，Pj）为Pi,Pj两个块的空间距离。最终联合三条规则得到公式为：

c取3，一对图像块pi与pj的颜色距离越大，位置距离越小，则它们的差异值越大。其中颜色距离为两图像块在Lab空间的欧几里得颜色距离，空间距离为欧几里得位置距离；若对于任意pj，得到的差异值都很大，则认为pi是显著的。

事实上，我们只需要计算前K（K取65）个与Pi最相似的块就可以了。最后得到显著性值公式为：

以上为单个尺度所得到的显著性值，下面公式为多个尺度计算显著性值公式，只要计算多个尺度下的显著性值，然后取平均值来进一步提高显著和非显著区域的对比度。

加入上下文修正：设定显著性阈值从saliency map中提取most attended localized areas，在attended areas 之外的像素显著性值由与它最近的attended pixel之间的欧几里得距离加权，得到新的显著性值。从而提高显著目标附近的显著性值，降低背景区域的显著性值。计算公式如下：

Dfoci（i）为i像素点离最近的focus of attention pixel之间的欧式距离。

4、结果

下面贴出一些原文中的效果图

5、应用

主要介绍了本方法的两个应用

Image retargeting

Summarization through collage creation

参考资料

1、Context-Aware Saliency Detection原文

2、显著性论文学习阶段总结（二）

3、论文主页

代码在论文主页可以下载，不过已经加密，CSDN有其他人写过另外一个matlab代码，有需要可以去下载了解。