显著性论文学习阶段总结(二)

1.Ali Borji, Laurent Itti, Exploiting Local and Global Patch Rarities for Saliency Detection, CVPR2012

1) 系统框架:

 显著性论文学习阶段总结(二)_第1张图片

2) 算法思路:

① 图像表示:本文通过1500张图像中,在各通道提取出的8*8patch,学到了一个自然图像的字典。使用这个字典以及一系列的系数α就可以重组任何一个patch。各通道分别进行。因此,在学习了字典,并且使用Matlab中的LARS算法进行了稀疏编码系数α的估计之后,每个patch通过系数表示成一个矢量。

② 显著度计算:在这些矢量上进行局部和全局显著度的计算。局部显著度为两个图像块系数向量在特征空间里的欧几里得距离,用空间距离进行加权,距离远权重小;全局显著度为图像块矢量进行直方图计算后的概率分布函数的倒数。最终RGBLAB每个通道会得到局部和全局两个显著图。

③ 显著度融合:分三步:a. 每一个通道内,局部和全局显著图进行归一化并相乘;b. 每一种颜色空间内,三个显著图归一化并相加;c. 两个颜色空间的显著图归一化并相加。相乘表示目标必须同时满足局部和全局的孤立性条件。相加表示各个通道之间是互补,或者竞争关系。并且这个竞争是现在各个颜色空间内部几个通道之间进行,优胜者再和另一个颜色通道的比较。

④ 结果优化:尺度空间扩展,对图像进行降采样,计算每个尺度下的显著性图,归一化后计算这些显著性图的均值,再用高斯核进行卷积得到平滑结果;

3) 论文评价:文章采用多通道显著性融合的方法,并进行了多尺度增强;并应用了字典学习和稀疏编码,计算量较大(感觉Ali Borji的论文计算量都很大,计算很多特征或很多显著性图)。代码还在调试,论文图示中结果还可以,边缘显著性较突出。

 

2.Ali Borji, DickyN.Sihite, Laurent Itti, Salient Object Detection:A Benchmark, ECCV2012

1) 主要贡献:一篇关于显著性模型的综合论文,总结了自2011年以及之前发表的,能容易得到的(代码或者Saliency Map),具有很好的准确率的,或者具有很高引用率的模型。

全文共用5个数据库:MSRAASDSED1SED2SOD(这个五个数据 库都是包含物体的数据库,该文的重点也是考察包含物体的数据库上比较各 个模型)。

具体参见博客:http://www.cnblogs.com/hSheng/archive/2012/12/06/2804385.html

 

3.Xiaoshuai Sun, Hongxun Yao, Rongrong Ji, What Are We Looking For: Towards Statistical Modeling of Saccadic Eye Movements and Visual Saliency, CVPR2012

1) 基本思想:该文的基本假设从视觉注视点的统计分析得出。得出的基本假设为两点:a:显著性是非常稀疏的,也就是说大多数地方的显著值都是0,而只有图中的很小区域的显著值有很大的值;b:具有很大的显著值的区域的周围区域通常具有丰富结构信息。而超高斯(super-Gaussianity)分布刚好具有这两点特征。

根据特征融合理论,显著度是由多个特征通道融合而成的,用于显著度检测 的特征应该与显著度具有相似的统计特征;对于一个视觉统计点,显著度具 有超高斯性,我们的注视过程就是在寻找场景中的超高斯成分。

 

2) 算法流程:

 显著性论文学习阶段总结(二)_第2张图片 

① 超高斯成分分析:给定图像I,滑动窗扫描将其变换成基于块的表示X,存储为矩阵形式,每个列向量表示一个变形后的图像块;用PCA去相关,白化后得到特征矩阵Z;在统计学领域,通常利用kurtosis函数来模拟超高斯分布。本文通过定义一个随机映射矩阵w,将原始特征空间Z通过这个映射矩阵w,然后求其最大值的kurtosis。通过projection pursuit优化算法求这个w,而这个w也将决定哪些值是saliency在得到一系列的映射向量w时,我们需要将他们进行格拉姆-施密特正交化,来确保当前的优化方向与前面的优化方向不一致。同样通过不停的迭代,能够得到不同的saliency点。本文能同时计算出saliency map和视线扫描的轨迹。

② WAT目光定位:在得到了投影向量W后,计算这个投影方向上的响应图RMi:这个响应图就是原图中的那个具有最大的单个超高斯分布的区域,这个分布是基于图像颜色的分布。这样RM1对应图中具有最大SGCSuper Gaussian Component)对应的响应图,表示人眼首次注视的区域,RM2则是对应的次大SGC分布,RM3,...依次推理,直到W收敛。而W收敛意味着下次转移的位置与上次转移的位置距离很小。也就是以后的SGC响应太小,不能引起注意力了。 

根据winner-takes-all原则选取响应值最大的位置作为注视点。

③ 显著图计算:响应图的非线性组合,pi为第i个响应图的直方图概率。

3) 论文评价:本文的视角比较新颖,从“在图像中的什么成分能引起注意力”的问题出发。从大量tracker数据中得到假设:超高斯分布的数据更能吸引人们的注意力。因此文章致力于寻找那些具有超高斯分布的位置。实验结果看起来还可以,噪音抑制能力较强,saliency map有点模糊。

 

4.Stas Goferman,Lihi Zelnik-Manor, Ayellet Ta, Context-Aware Saliency Detection, CVPR2010

1) 基本思路:本文先提出了基于上下文感知的显著度准则,然后依照这4个准则来实现著度检测。

2) 准则提出与实现如下:

① Local low-level considerations:具有不同颜色和模式的区域对应显著性值高,均匀或模糊区域显著性值低;

② Global considerations:经常出现的特征应当被抑制;

③ Visual organization rules:显著的像素应当聚集在一起,而不是遍布整幅图像;

根据前3条准则,先进行单尺度的局部-全局显著性计算,再进行多尺度增强。

一对图像块pipj的颜色距离越大,位置距离越小,则它们的差异值越大。其中颜色距离为两图像块在Lab空间的欧几里得颜色距离,空间距离为欧几里得位置距离;若对于任意pj,得到的差异值都很大,则认为pi是显著的。

为简化计算,显著性值的计算中选取前k个最相似的图像块进行度量。

计算多个尺度下的显著性值,取平均值来进一步提高显著和非显著区域的对比度。

 

加入上下文修正:设定显著性阈值从saliency map中提取most attended localized areas,在attended areas 之外的像素显著性值由与它最近的attended pixel之间的欧几里得距离加权,得到新的显著性值。从而提高显著目标附近的显著性值,降低背景区域的显著性值。

               

④ High-level factors:作为后期处理,加入高层先验知识如人脸检测;

3) 论文评价:提出显著性准则作为算法的先验知识进行显著度检测,显著性思路思路与中央-周围机制大体相同,融合多尺度修正与上下文感知,导致saliency map中从目标往四周显著性值渐渐降低,边缘较模糊。代码速度与实验结果还可以,如果将颜色距离与空间距离的组合采用加权方式,会不会对显著性结果有所改变?

5.Tie Liu,Jian Sun,Nan-Ning Zheng,Learning to Detect A Salient Object,CVPR2007

1) 基本思想:先对显著目标进行特征提取,得到多尺度对比度,中央-周围对比度,颜色空间分布3feature maps,再用条件随机场模型进行组合,得到最终的显著性检测结果。

2) 方法流程:

① Multi-scale contrast feature:高斯金字塔多层对比度的线性组合。

② Center-surround histogram:计算像素点x'为中心的显著矩形区域与其周 围矩形区域的RGB颜色直方图之间的x2距离;由于目标尺寸不同,选择不同纵横比的矩形区域进行测试,x2距离最大对应得到最独特矩形区域;像素点x的中央-周围直方图特征定义为其所属所有矩形区域的空间高斯加权x2距离之和。

③ Color spatial-distribution:图像中的所有颜色用高斯混合模型来表示,每一个像素被分配给具有某概率的颜色成分,计算每一个颜色成分的水平方差和垂直方差,得到该成分的空间方差;颜色空间分布特征定义为中央加权的 空间方差之和。颜色方差越小,该颜色越有可能属于显著目标。

④ 条件随机场结合:能量函数为K个显著特征和配对特征的线性组合,通 过条件随机场学习计算权重,得到最优化的线性组合。其中显著特征为前面 得到的3feature map,用来描述一个像素点是否属于显著目标;配对特征 为两个相邻像素点的空间关系,是对相邻像素标记为不同值的惩罚项。

3) 论文评价:采用条件随机场模型进行特征组合,融合颜色独立性,颜色空间分布和多尺度分布,考虑了局部信息,全局信息以及尺度信息。效果也不错。

6.Jian Li, Martin D.Levine, Saliency Detection Based on Frequency and Spatial Domain Analysis,BMVC2011

1) 总体思路:本文结合频域的全局信息和时域的局部信息进行显著度检测。在频域分析中,根据全局信息对非显著区域进行建模,频繁出现的成分认为不显著,用频谱平滑进行抑制;在时域分析中,采用中央-周围机制加强信息量大的区域;最后将两个通道的输出结果相结合得到显著图。

2) 算法步骤:

① 频域分析:一幅图像中只有少部分是显著的,大部分是背景,即repeated patterns;基于该假设,我们可以寻找非显著的部分进行抑制,从而突出显著部分;对原始图像进行幅度谱分析,发现峰值对应图像中的repeated patterns,故采用高斯核进行平滑来抑制repeated patterns。为处理不同尺度下的幅度谱,提出频谱尺度空间(Spectrum Scale-Space),高斯核的尺度因子范围由图像的长和宽来决定。再根据显著图的熵来确定高斯核的最优尺度,计算每个尺度下的显著图的熵,选择熵最小的显著图作为最佳结果。(根据熵定义,等概分布时熵最大,说明画面均匀;则显著物体最突出最集中时对应熵最小)

② 时域分析:应用ICAIndependent Component Analysis)选用场景中的独立成分作为中央-周围滤波器,根据论文Dynamic visual attention: searching for coding length increments得到192个响应图,进行加权求和得到一幅显著图,权值为原始图像滤波后的熵取倒数。即熵越小,对应该响应图显著部分越集中,对最终显著图的贡献越大。

③ 显著图结合:将图像分解到图像空间IRGBY,分别计算三个图像通道的最佳尺度频域显著图,再进行熵值加权求和,得到频域saliency map Sg;时域saliency map的计算如②所述,得到Sl;最终的saliency map为二者加权组合:

             

3) 论文评价:文章结合时域和频域两种信息来进行显著度检测,频域分析应用全局信息突出显著度,时域分析增强那些具有很高局部对比度的显著区域,并在多尺度优化时加入熵的应用,值得借鉴。从论文的实验结果来看,对于目标较小的情况结果也不错,不过没有下载到代码,不知道速度和实际运算结果是否满意。

你可能感兴趣的:(显著性论文学习阶段总结(二))