IMPROVING SUPERPIXEL-BASED IMAGE SEGMENTATION BY INCORPORATING COLOR COVARIANCE MATRIX MANIFOLDS



联合颜色协方差矩阵的超像素的图像分割改进算法

Xianbin Gu, Jeremiah D. Deng, Martin K. Purvis

Department of Information Science,University of Otago, New Zealand

摘要：本文提出了一种联合颜色信息和超像素的颜色协方差矩阵作为特征进行图像分割的方法。协方差矩阵流形采用非欧几里德距离度量。然后，为了产生关联图，本文引进了三种从两个特征空间中获取的相似矩阵融合方法。使用基准数据集进行实验，结果表明，本文算法和目前最新算法相比具有明显的优势。

摘要：图像分割，超像素，协方差矩阵，双边图。

1.引言

超像素（即，基于其感知相似性而被分组在一起的图像像素的集群）在图像处理中发现越来越多的应用。许多聚类算法可以用于生成超像素，例如基于密度的Mean Shift算法[1]，基于图论的FH算法，能量分水岭算法。同时，为了高效的进行超像素构成而设计的目前最先进的SLIC算法。基于区域的特征可以从超像素中提取出来，这些超像素已经用于目标的分类和定位[5]。在图像分割中，通常超像素会出现过度分割的问题，因此需要进一步处理得到更大且均匀的区域作为分割结果[6]。值得注意的是，通过谱聚类将超像素进行合并是目前的趋势[7] [8]。最近，文献[9]将一种稀疏编码方法应用于L0空间中的超像素，并使用转移割算法的改进相关矩阵[7]，取得了满意的结果。

在多数情况下，例如，颜色直方图法、局部二值模式特征法和BOW模型法[10]等多线索融合的方法可以产生更好的分割结果。显然，恰当的利用超级像素呈现方法可以有效提升基于超像素的图像分割的质量。

本文在以往研究的基础上，通过引入除了超像素颜色特征外，还考虑了颜色协方差矩阵，以改善超像素特征的表达。与传统的颜色或纹理特征不同，协方差矩阵不能嵌入欧几里得空间，而是定义了一个多样性，所以采用了黎曼度量的方法。使用与文献[7]相同的方法，本文提出了几种在两个不同空间中（颜色和颜色协方差）融合相似性度量的方法，然后构建的关联图。这些方法在实验中进行了测试，最终的分割结果和目前最好的分割算法效果相差不大。

图一给出了本文算法与文献[7]SAS算法的大致比较，可以看出，SAS算法把老虎分割成不同的几块，而本文算法避免了这种不足。

（a）                                                               （b）                                                      （c）

图1  优良分割的视觉比较：（a）原图；（b）SAS；（c）本文方法

本文的框架如下：第2节介绍了特征提取过程，第3说明了关联图的构建方法，第4节进行了实验验证。最后，对本文进行了总结与展望。

 

2.特征提取

在不同的参数设置下，可以使用Mean Shift或FH算法生成超像素。为了生成更好的图像分割结果，本文首先关注的重点是从生成的超像素中提取有用的特征。

在前人研究的基础上，本文首先采用平均颜色作为超像素的特征。需要指出的是本文采用CIED的Lab颜色空间，因为此类空间能够充分逼近人类视觉。X表示Lab空间中的像素向量。集合 （M是 中包含的像素数量）表示每个超像素，然后由其平均颜色向量表示。

               （1）

一幅图像的超像素可以认为是欧几里得距离中3-D Lab颜色空间点的集合。

经验上，仅使用颜色信息可能不足以产生完美的图像分割，也可以考虑其他非欧几里德特征空间。特别是本文对超像素中的颜色协方差比较感兴趣，定义如下：

    （1）

作为张量的协方差矩阵位于光滑流形上，因此需要非欧几里德距离度量。由于这些协方差矩阵是对称的，而且是半正定的，本文可以使用Forsters和Moonen距离[11]进行描述：

（3）

， 是两个 纬的协方差矩阵， （r=1,…,n）是广义特征值问题 的特征值。在本文中涉及的是 纬的协方差矩阵，所以本文特征分析的代价可以忽略不计。假设超像素的平均大小是k个像素，那么为每个超像素引入的总体算法复杂度因此是O（K）。

3.基于图论的图像分割

3.1. 基于超像素图割的图像分割

本文采用文献[7]中的转移割，既基于聚类图的分割算法，进行图像分割。首先，构建输入图像I的所有像素或超像素集的二分图G（X，Y，B），其中X代表其值为像素或超像素值的顶点，Y表示由不同算法或相同算法不同参数设置产生的超像素集顶点， 表示双边图的边。那么双边图G的结构可以由归一化交错相关矩阵 的奇异向量分解得到，其中 。其中左边和右边的奇异向量 包含了顶点X和Y各自的分割信息。

转移割的通过等价的计算特征值问题[7]，可以高效的找到X的划分。

其中 v表示特征向量。

3.1. 构建关联图

本文方法和其他算法之间的一个主要区别在于关联图的构建。在文献[7]中，每个超像素与其空间邻近的超像素之间的最近邻域相连接，但是不足以获取被空间距离分开而实际在特征空间中相近的点的关系。文献[9]采用超像素L0稀疏编码表示度量超级像素的相似度来克服这个缺点。然而这个问题可以用另一种方式来解决。本文方法力求寻找一种附加信息来更好表达超像素的，以消除空间约束。因此本文通过使用协方差矩阵作为颜色特征的补充特征来实现的这一目标。

令 表示超像素 和 之间的距离。根据所使用的特征， 可以是Lab空间中的欧氏距离，或（3）式中的非欧几里德度量。两个超像素之间的相似性 定义如下：

其中β是高斯类核的系数，并且 被归一化为[0,1]。值得注意的是由于经过归一化处理， 可能不等于 。

现在我们有两个不同的相似性矩阵 和 ，分别表示超像素的两个不同的特征空间，即颜色和颜色协方差。为了融合这两个相似性矩阵需构建关联图，一种解决方案是利用矩阵点乘运算（又名Hadamard产品）：

                                （6）

还有其他可以采用的选择。文献[12]将从两个角度对相似矩阵进行矩阵乘运算：

                                     （7）

而文献[13]结合各自的形式，简单的把连个矩阵进行相加：

                                 （8）

最终，通过把彼此最相似（过分割的图像内）的像素与超像素和超像素与超像素进行连接从而建立关联图。即用每个边上的权构建 来设置为常数，用k-NN形成 。本文算法在表1中进行了总结概括。

表1  算法

步骤
1	超像素生成	使用不同参数的Mean Shift和FH算法生成图像的过分割
2	特征提取	利用公式（2）计算超像素的平均值和颜色协方差矩阵
3	相似度度量	使用公式（5）计算超像素的像素度，采用公式（6）、（7）或者（7）融合相似性矩阵 和
4	构建图	定义一个像素和超像素的双边图G（X，Y，B），并且构建一个相似矩阵
5	图像分割	通过转移割算法分割图G

 

4.实验

为了比较，我们的算法的评价是在一个标准的基准图像分割数据集上进行的。本文采用的是Berkley分割数据集（BSD）[14]，参数的设置与文献[7]和文献[9]相同。其中，超像素的采用Mean Shift算法和FH算法产生；边上的权值 设置为1*10^-3，设置 作为高斯核函数在 的调节距离。 采用最近邻图，k为1。

评估通过四个指标测量：概率边缘指数（PRI）[15]，信息变化（VoI）[16]，全局一致性误差（GCE）[17]和边界位移误差（BDE）[18]。对于PRI，值越高表示结果越好；其他值越低表示结果越好。采用四个指标的平均值进行分割结果的衡量。

实验分两部分进行。首先，与文献[7]中的相同，本文手动设置每个图像的分割数，找到算法的最好的分割结果进行比较。其次，根据文献[9]，本文固定分割数量K=2，这在实际应用中更加实用。在这两种情况下本文的算法均表现出了较好的性能。本文在实验中检验了所有三种融合方法的性能，结果列在表2和表3中。当手动设置聚类数k时，我们的方法在PRI和VoI排名第一，当K设置为2，PRI，VoI和GCE表现最好。SAS算法和L0稀疏编码表示方法的的得分效果由文献[7]和文献[9]中获得。

表2  人工调节K时算法在BSD数据库上的性能比较

表3  K设置为2时算法在BSD数据库上的性能比较

 

从表3可以看出颜色空间的选择作用并不是很明显，即使在RGB和HSV颜色空间使用颜色协方差矩阵也能显著的提高算法的性能。另一方面，与使用Lab颜色空间相比，SAS在使用这两种颜色空间时，在VoI和GCE指标中表现出更差的结果。

BSD数据集上的实验结果表明，协方差矩阵提取的新超像素特征明显提高了结合颜色信息的双边图的算法的平均性能。通过消除空间约束，我们的算法能够很好地处理远距离的均匀性，形成了与物体轮廓对应的超像素。矩阵点乘在三种融合方案中表现最好，但主要是边缘的差异。图2展示K=2是的分割实验结果，本文方法在前背景分离上效果非常良好。

图2  本文算分分割结果（K=2）

5.结论

本文提出了一种基于图的图像分割方法，利用颜色协方差矩阵来提高基于图的图像分割的性能。在协方差矩阵空间采用非欧几里得量度，然后将此新特征与颜色信息结合以形成用于分割的双边图。我们的实证结果表明，与最先进的方法相比，本文方法产生更好的或竞争性的分割结果。与以前的算法不同，本文算分对色彩空间的选择不敏感。将来，我们打算在算法中加入一些额外的功能。

6.参考文献

[1] DorinComaniciu and Peter Meer, “Mean shift: A robust approach toward feature spaceanalysis,” TPAMI, vol.24, no. 5, pp. 603–619, 2002.

[2]Pedro F Felzenszwalb and Daniel P Huttenlocher, “Efficient graph-based imagesegmentation,” IJCV, vol. 59,no. 2, pp. 167–181, 2004.

[3] C.Couprie, L. Grady, L. Najman, and H. Talbot, “Power watersheds: A new imagesegmentation framework extending graph cuts, random walker and optimal spanningforest,” in ICCV’09, 2009, pp. 731–738.

[4]Radhakrishna Achanta, Appu Shaji, Kevin Smith, Aurelien Lucchi, Pascal Fua, andSabine S¨usstrunk, “Slic superpixels compared to state-of-the-art superpixelmethods,” TPAMI, vol. 34, no. 11, pp. 2274–2282, 2012.

[5]Brian Fulkerson, Andrea Vedaldi, and Stefano Soatto,“Class segmentation andobject localization with superpixel neighborhoods,” in ICCV’09, 2009, pp.670–677.

[6] C.Panagiotakis, H. Papadakis, E. Grinias, N. Komodakis,P. Fragopoulou, and G.Tziritas, “Interactive image segmentation based on synthetic graphcoordinates,”Pattern Recognition, vol. 46, no. 11, pp. 2940–2952, 2013.

[7]Zhenguo Li, Xiao-MingWu, and Shih-Fu Chang, “Segmentation using superpixels: Abipartite graph partitioning approach,” in CVPR’12, 2012, pp. 789–796.

[8] TaeHoon Kim, Kyoung Mu Lee, and Sang Uk Lee,“Learning full pairwise affinities forspectral segmentation,”in CVPR’10, 2010, pp. 2101–2108.

[9]XiaofangWang, Huibin Li, Charles-Edmond Bichot, Simon Masnou, and Liming Chen,“A graph-cut approach to image segmentation using an affinity graph based on 0-sparserepresentation of features,” in ICIP’13, 2013.

[10] BinCheng, Guangcan Liu, Jingdong Wang, Zhongyang Huang, and Shuicheng Yan,“Multi-task low-rank affinity pursuit for image segmentation,” in ICCV’10,2010,pp. 2439–2446.

[11]Wolfgang F¨orstner and Boudewijn Moonen, “A metric for covariance matrices,” inGeodesy - The Challenge of the 3rd Millennium, ErikW. Grafarend,FriedrichW.Krumm, and VolkerS. Schwarze, Eds., pp. 299–309.Springer, 2003.

[12]Virginia R de Sa, “Spectral clustering with two views,”in ICML workshop onlearning with multiple views,2005.[13] Thorsten Joachims, “Transductivelearning via spectral graph partitioning,” in ICML’03, 2003, pp. 290–297.

[14]Pablo Arbelaez, Michael Maire, Charless Fowlkes, and Jitendra Malik, “Contourdetection and hierarchical image segmentation,” TPAMI, vol. 33, no. 5, pp.898–916,2011.

[15]Ranjith Unnikrishnan, Caroline Pantofaru, and Martial Hebert, “Toward objectiveevaluation of image segmentation algorithms,” TPAMI, vol. 29, no. 6, pp.929–944,2007.

[16]Marina Meil˘a, “Comparing clusterings: an axiomatic view,” in ICML’05. ACM,2005, pp. 577–584.

[17]David Martin, Charless Fowlkes, Doron Tal, and Jitendra Malik, “A database ofhuman segmented natural images and its application to evaluating segmentationalgorithms and measuring ecological statistics,” in ICCV’01,2001, vol. 2, pp.416–423.

[18]Jordi Freixenet, Xavier Mu˜noz, David Raba, Joan Mart,and Xavier Cuf´ı, “Yetanother survey on image segmentation:Region and boundary information integration,”inECCV’02, pp. 408–422. Springer, 2002.

想讨论这篇文献，不知道谁有兴趣！译文我后面上传。