【本文分析仅代表本人个人观点】
今天在ICIP2012录取文章列表上简单的搜索了下,发现关于saliency map的文章比较多。由于我刚结束的硕士学习中研究的就是saliency map。所以,今天就ICIP的文章做个简单的阅读。
文章列表:
1,A visual Saliency Based Video Hashing Algorithm. (本文没有链接,下不到。)
2,An Algorithm for Detecting Multiple Salient Objects in Images Via Adaptive Feature Selection.
3,Automatic Saliency Inspired Foreground Object Extraction From Videos.
4,Conditional Random Field-Based Mesh Saliency.(本文没有链接,下不到。)
5,Extended Non-local means Filter for Surface Saliency Detection.(本文没有链接,下不到。)
6,From Rareness to Compactness: Contrast-Aware Image Saliency Detection.
7,Object-Aware Saliency Detection for Consumer Images.(本文没有链接,下不到。)
8,Raindrop Detection and Removal Using Salient Visual Features.(本文没有链接,下不到。)
9,RARE: A New Bottom-up Saliency Model
10,Relational Entropy-Based Saliency Detection in Images and Videos.(本文没有链接,下不到。)
11,Saliency Detection Based on integration of Boundary and soft-segmentation.
12,Saliency Detection Via Statistical Non-Redundancy.
13,Saliency Mapping Enhanced by Symmetry From Local Phase.
14,Saliency-Based Selection of Sparse Descriptors for Action Recognition.
15,Salient View Selection Based on Sparse Representation.
16,Visual Saliency Estimation using Support Value Transform.(本文没有链接,下不到。)
现在能从网上直接下载的,有9篇文章。我将按照顺序,逐一分析。
2,An Algorithm for Detecting Multiple Salient Objects in Images Via Adaptive Feature Selection.作者来自美国俄克拉荷马州立大学。
该文利用作者以前的2篇杂志文章中提出的5种特征,进行组合计算saliency map。只是组合方式采用自适应方式。
该文对图像的处理方式是有50%重叠的patch。
五个特征分别是:亮度特征和颜色距离,亮度对比(采用RMS luminance constrast), sharpness 和边缘强度特征。其中前两个特征是将图像转换到CIELAB空间,计算每个区域与平均值的绝对值,也即方差信息。亮度对比采用比较传统的算法。而后二者特征则分别是作者以前文章中研究的特征。
该文同样加入了高斯核来对“center-bias”进行建模。每个特征都进行归一化处理。
特征组合方式:假设团凑(cluster density)越小,则对saliency的贡献越大的准则。通过计算团凑,选择其中的前三个具有最小cluster density的特征进行加权组合,而丢弃剩下的2个。
该文的测试库是包含单个明显物体的图库。
3,Automatic Saliency Inspired Foreground Object Extraction From Videos.
该文主要是结合单帧图像的saliency map 和 motion map计算视频的前景物体。
对于单幅图像的saliency map提取算法,该文扩展ChengMingming CVPR2012年的方法。利用Turbopixel对图像进行超分割(superpixel方法不同,能带来稍微不同的结果)。对于图像的处理单元是superpixel。
对于motion saliency,本人不是太关注。感兴趣的可以阅读原文。
6,From Rareness to Compactness: Contrast-Aware Image Saliency Detection.
该文图像处理基本单元是patch,5*5*3大小。
绝对对比Absolute Contrast(AC)依然是每个patch与全副图像的平均patch的绝对差,与文献2类似。
Bin Contrast(BC)的计算方式很简单,就是对所有patch进行聚类,聚类方式采用Normalized Cut。每个类别中,个数多的当然是在图中出现多的,其saliency应该很低,而个数少的类别,则其saliency value比较高。
Ac与BC是全局对比特征。而在saliency基本理论中,还需要局部对比因素。因此,该文的局部对比采用的依然是领域颜色对比Local Contrast (LC)。
本文同样采用高斯核加权的方式对每个patch进行“center-bias”。
接下来就是特征组合问题了。该文对于前面的三个特征,采用相乘的方式,与center-bias再相乘来计算每个特征的MCW值,然后假定MCW值小于某个阈值的patch是saliency spot。
在得到saliency spot之后,该文提出saliency patch的2个性质:1,具有光滑颜色的patch应该属于同一物体,不管他们相距多远;2,与salient plot相近的点也应该是saliency patch。基于此,本文提出每个patch的color smoothness (CS)和spatial consistency(SC)。然后将他们相乘得到每个patch的saliency value。
该文的测试数据库同样是ChengMimgming使用的那个数据库(含有显著物体)。
9,RARE: A New Bottom-up Saliency Model
该文提出了一个层次结构模型。共分为五层模式。层次结构依次是:先对颜色空间进行分解,然后利用Gabor滤波器对分解后的颜色进行滤波,接下来利用Stsu进行Basic Segmentation, 接着进行多尺度之间进行融合,最后将不同的颜色通过进行融合。
本文提出的算法适合自然图像的saliency map提取。
11,Saliency Detection Based on integration of Boundary and soft-segmentation.
该文获得ICIP2012 Best student award Finalists。作者是大连理工大学的一个组,近年来在CV领域很活跃。http://ice.dlut.edu.cn/lu/publications.html
该文是继ICIP2011年文章的基础上,对于prior map进一步。该方法利用贝叶斯理论,将一个像素的saliency值视为后验概率,文章的重点是计算其对应其先验概率。而我们通常的方法都可以看做是先验概率的模型,然而文章利用角点提取算法先粗略估计salient物体的位置,然后利用saliency的原理进行优化。
图像的处理单元是superpixel,因此其结果看起来不错。
文章针对的图像类型是含有显著物体的图!
ICIP2011的方法扩展发表到TIP上,具体可以参考http://ice.dlut.edu.cn/lu/Paper/T-IP/tip11_saliency.pdf。
该系列文章看起来非常不错,好好研究下!
【个人思考】主要是对于一些图像的基本处理方法进行序列组合,而这个方法通常能收到很大的欢迎。我将在后面的文章中总结!
12,Saliency Detection Via Statistical Non-Redundancy.
文章利用统计学原理,认为图像中的某个点是该领域内的点和高斯噪声点的实现。然后利用这个原理,计算图中任意两个点之际非冗余统计量。
最后图中某点的saliency value是图中的该点与图中其他所有点的非冗余统计量的期望。
该方法适合自然图像类的saliency map提取。
13,Saliency Mapping Enhanced by Symmetry From Local Phase.
该文的作者之一是大名鼎鼎,saliency的鼻祖Itti。所以文章的方法和Itti的思路非常的类似,采用心理学和神经学的一些基本理论,用图像的颜色和灰度特征,利用Gabor滤波器和DoG方式模拟视觉神经的机制。
14,Saliency-Based Selection of Sparse Descriptors for Action Recognition.
该文也是基于统计学的方法,利用saliency map分析运动。作者系哈佛大学。而哈佛大学关于注意力的研究一直是沿着统计分析和心理学思路,典型的Gist特征。
15,Salient View Selection Based on Sparse Representation.
该文利用sparse coding计算3D视觉的saliency,与传统的目的不同。
【本文完】