论文阅读笔记（2）：Saliency Detection: A Spectral Residual Approach

论文题目：Saliency Detection: A Spectral Residual Approach
论文作者：Xiaodi Hou and Liqing Zhang
论文时间：2007
文章中的Spectral Residual（SR）模型并不像Itti模型那样依赖于图像的特征，SR模型不依赖于图像的特征、分类以及其他的先验知识。SR模型关注的是图像的背景部分，找出图像背景在某个空间上满足什么变化，然后剔除背景，最后就得到了图像最突出的部分。主要是通过分析图像的对数（Log）谱，提取图像光谱域中的谱残差,然后将谱残差变换为空间域，得到显著性图。

光谱残差模型:

从信息论的角度，有效编码将图像信息H（Image）分解为两部分：

其中H(Innovation)表示新颖性部分，H(Prior Knowledge)表示是编码系统应抑制的冗余信息。

对数谱的表示：

在这里，作者提到一个尺度不变性，尺度不变性是最著名和研究最广泛的属性。这一性质也被称为1/f定律，它指出自然图像系综的平均傅立叶谱的振幅A（f）服从一个分布：

虽然对数-对数谱在理论上已经成熟并得到了广泛的应用，但它在单个图像的分析中并不受欢迎，主要是因为：
（1）个体图像不太可能存在尺度不变性；
（2）采样点分布不均匀，低频部分在对数平面上分布稀疏，而高频部分相互交织，产生噪声。
所以作者采用图像的对数谱表示L（f）代替对数-对数谱表示，用可以得到对数谱。对数-对数和对数谱表示的比较如下图Figure 1所示：

作者发现不同图像的对数谱具有相似的趋势，尽管每一个都包含统计奇点，不同图像的对数谱的关系如下图Figure 2所示：


下图figure 3分别显示了1张、10张和100张图像的平均光谱曲线。这一结果表明平均对数谱具有局部线性。

从光谱残差到显著性图

对于输入图像，图像的对数谱L(f)是由宽或高等于64px的下采样图像计算得到的，如果对数谱L（f）中包含的信息是以前获得的，则需要处理的信息是：

其中，式中的A（f）表示对数谱的一般形状，作为先验信息给出。R（f）表示特定于输入图像的统计奇点。作者把R（f）定义为图像的光谱残差。
如上图figure 3所示，平均曲线表示局部线性，因此，采用局部平均滤波器hn（f）来近似A（f）的形状是合理的。论文实验中，作者取n等于3。改变hn（f）的大小只会稍微改变结果（见图figure 5）。平均光谱A（f）可通过卷积输入图像来近似：

其中hn(f)是一个n*n的矩阵：


所以谱残差R(f)由下面公式计算得到：

作者利用反傅立叶变换，在空间域中构造输出图像，这个输出图像称为显著性图。显著性图主要包含场景的重要部分。为了获得更好的视觉效果，作者使用高斯滤波器g（x）平滑了显著性图。
整个流程大致可以表示如下几个公式：

图像在不同尺度下，人们观察的目标会不一样，在一个大的尺度下，人们会把大的物体看做一个目标，比如一件房子，在小的尺度下，人们会把一个很小的具体的物体看做一个目标，例如一间房间的窗户。如下图figure 7所示：

实验结果分析

作者为了验证所提出的方法的性能，数据集使用62幅图像进行测试，这62幅图像分别取自A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics和Modeling the Shape of the Scene: A Holistic Representation of the Spatial Envelope以及Attentional Selection for Object Recognition — A Gentle Way。
下图figure 8所示是实验结果图：

作者并使用命中率（HR）与误报率（FAR）对所提方法进行评价。其计算公式如下：

MATLAB代码实现