图像显著性论文（三）—Frequency-tuned Salient Region Detection

国庆十一长假回来，是得收收心学习学习了，不过国庆也没去那里玩，因为这人实在是不敢恭维啊，连站的地方都没有了，中国这人口就是吓死人。最近有那么一点点时间，就赶紧把自己感兴趣的学一学，要不然过一阵子老板又给项目就没时间学了，那么就接着我们的图像显著性学习之旅吧！这一篇不想介绍得太详细了，因为这一篇说到的显著性计算实在是太简单了，两条公式就搞定了，但为什么引用率这么高呢，因为它把图像显著性提升到应用层面上来了，使人们更多的关注整个显著性区域而不是以前显著性论文所讲的，只有一些注视点。

1、其他显著性方法介绍

现在的显著性方法可以大致分为三类，分别是 biologically based, purely computational, or a combination，基于biologically的有Itti的 A model of saliency-based visual attention for rapid scene analysis也就是第一篇介绍的论文，基于purely computational的有X. Hou and L. Zhang 的Saliency detection: A spectral residual approach也即是第二篇介绍的论文，基于combination的有J. Harel, C. Koch, and P. Perona的Graph-based visualsaliency也即是biological和computational的结合。在频率域分别对5种显著性方法进行讨论，5种方法分别是IT,MZ,GB,SR,AC。由于这五种方法在尺度空间对图像频率都有一定的损失，所以最后产生的模糊的显著图，如下图所示。

表2说明了每种方法最后产生的显著图的频率范围，图像大小，复杂度，从上图和表中可以看出IG方法即本文方法保存的图像信息比较全，并且输出的是全分辨率图像。

2、本文方法介绍

对于一个显著性区域而不是注视点，应该满足以下5点要求：

设Wlc为低频阈值，Whc为高频阈值，为了满足第一点，强调最大的显著性目标，所以Wlc必须非常小，这也满足第二点要求，强调整体显著性区域；为了很好的定义显著性目标的边界，所以需要保留高频部分，于是Whc需要高一点，满足第三个要求，但是又要忽略掉一些噪声，即第四个要求，所以也不能太高。从以上的分析可以得出，我们最后需要一个较宽的频率范围[Wlc，Whc]。

这里使用多个高斯差分的结合作为我们的带通滤波器。下图为高斯差分公式。

当我们设定两个高斯方差成一定比例时，如1:1.6，则高斯差分的联合可由下面公式给出

当我们取的比例为1.6时，则每做一次高斯差分，就是一个边缘检测器，那么将所有的高斯差分结合起来，就相当于把所有的边缘检测器从不同的尺度空间中结合起来，这也就说明了为什么显著区域会全部被覆盖而只是得到一些边缘或者点。(简单的说就是每做一次高斯差分就保留一定范围的频率，把所有的高斯差分结合起来就是把所有的频率搜集起来，就达到我们的要求了)，所以参数的选择很重要。文章中介绍确定σ1、σ2我们便可以得到一个频带，但是用一个具有实际带宽的频带去处理图像往往得不到我们想要的效果，这里，取σ1为无穷大，当σ1为无穷大时，对图像的滤波就是计算整幅图像的平均值，而σ2取一个小的高斯核，可以滤去一些噪声。最后得到方程为：

先对图像进行高斯滤波，得到滤波后的图像，取其像素点的Lab值Iwhc（x，y），然后计算图像在LAB空间的均值Iμ，最后求欧氏距离，得到显著图。工作流程如下：

3、图像分割

以上就是图像显著图提取的介绍，非常简单，但是优点还是很明显的，特别是作者把它应用在图像分割上，效果很好。

本次分割主要有两个内容：①使用meanshift对图像进行分割；②介绍一种依赖于显著性图的自适应分割方法

分割步骤：

1、用meanshift方法将原图片分割成K大块；

2、计算每一块对应的显著图的平均值Sk；

3、计算整幅显著图的平均值Sμ；

4、计算自适应阈值Ta=2*Sμ；

5、当Sk>Ta时，则认为该区域为显著性图，保留；

工作过程为：

本文参考资料

1、Frequency-tuned Salient Region Detection原文

2、http://ivrgwww.epfl.ch/supplementary_material/RK_CVPR09/（本方法主页和图片、代码下载）

3、四种简单的图像显著性区域特征提取方法-----> AC/HC/LC/FT

4、PPT介绍

自己实现了一下，将代码改为OpenCV代码，运行环境是vs2010+OpenCV2.4.8，运行结果如下，未加图像分割代码。