【论文】Saliency Detection: A Spectral Residual Approach阅读笔记

一、思路:

从信息论的角度看,有效编码可以将图片H中信息分为两部分:

$$H(Image) = H(Innovation) + H(Prior Knowledge)$$

Innovation变化,即为显著部分;Prior Knowledge先验知识,即为背景部分,冗余部分。

相似就代表着冗余。对一个系统而言要最小化视觉的冗余信息,它必须知道输入图片的统计相似性(即所有图片平均特性)。

那么如何计算统计相似性呢?前人发现一个规律:大量的自然图像(在某个频率下)的平均振幅与该频率成反比,公式表征如下:

$$E\{A(f)\} \propto 1/f$$

f是频率,A(f)频率f对应的幅度(amplitude),E代表平均振幅(ensemble)

加上log,则在log-log 图谱中,自然图像的集合的平均振幅谱大致形状是线性的(统计特性)。

【论文】Saliency Detection: A Spectral Residual Approach阅读笔记_第1张图片

但由于一些原因(在个体图像中不可能发现尺度不变性,没看懂),作者没有使用log-log表征,而是使用log谱表征一幅图像,即$$L(f) = log ( A(f) )$$

当使用log谱表征时,发现如下规律:

【论文】Saliency Detection: A Spectral Residual Approach阅读笔记_第2张图片

所有图像的log谱的趋势是一样的,且大量图像的平均振幅是平滑的(统计特性),于是作者认为吸引我们注意力的部分是那些跳出平滑的部分(尖峰部分),则显著部分可以通过一个图像的幅度减去平均振幅,得到谱残差R(f)(尖峰部分),公式表示如下:

$$R(f) = L(f) - A(f)$$

二,模型特点

1)以往的大多数显著性检测算法,都是研究目标物体的属性,而该论文中提出的算法是探索背景的特性;

2)通过表征背景,找到背景,去掉背景,剩下的就是前景目标;

3) 模型与图像中的目标特征、种类和其他先验知识无关,算法适用性强;

4)算法简单,运行快。

 

三,模型算法:

对每个图像的对数谱(log spectrum)进行分析,得到谱残差。然后,然后将谱残差变换到空域,得到显著性图

四,代码解释:

clear
clc

%% Read image from file
inImg = im2double(rgb2gray(imread('Spectral_Residual.png')));
%%inImg = imresize(inImg, 64/size(inImg, 2));

%% Spectral Residual
myFFT = fft2(inImg); % A(f),一个图像的振幅,主要保存图像低频部分的信息
myPhase = angle(myFFT);  % 图像对应的相位图,主要保存图像高频部分的信息

% 对低频部分处理,即处理背景部分,使背景部分的振幅接近0,去掉背景,剩下的就是前景目标
myLogAmplitude = log(abs(myFFT)); % L(f) = log(A(f)),图像振幅的log谱,log可以使振幅值区间变小
averageAmplitude = imfilter(myLogAmplitude, fspecial('average', 3), 'replicate');
mySpectralResidual = myLogAmplitude - averageAmplitude;

%% to spatial domain
% 用残差振幅(保存的低频信号,且值接近0),替代图像的原振幅(保存的低频信号,且值较大),再结合相位图,反傅里叶变换到空域中。
saliencyMap = abs(ifft2(exp(mySpectralResidual + 1i*myPhase))).^2;

%% After Effect
saliencyMap = mat2gray(imfilter(saliencyMap, fspecial('gaussian', [10, 10], 2.5)));
imshow(saliencyMap);

 

你可能感兴趣的:(paper,Matlab,Salient,Obejct,Detection)