《SLIC Superpixels》阅读笔记

SLIC 超像素(SLICSuperpixels)

Radhakrishna Achanta, Appu Shaji, KevinSmith, Aurelien Lucchi,

Pascal Fua, and Sabine Susstrunk

摘要:

超像素在计算机视觉领域越来越流行。但是,低计算量的算法却很少。我们发明了一种原创的算法,使像素聚类为五维颜色和图像层,用来生成简洁整齐的超像素。我们的研究结果非常简单易用,效率很高,具备很好的实用价值。实验证明我们的算法计算消耗低,但是却达到或者超过了其他4种最新的(state-of-art)方法。这种结论是通过比较boundary recall和under-segmentation error得出的。

1.介绍:

超像素提供了一种便捷的方式来计算local features。他们通过获得图像中的redundancy来大幅度地减轻后续图像处理的复杂度。已经证明在深度估算(depth estimation),图像分割(image segmentation),骨架提取(skeletonization),人体模型估计(body modelestimation),目标定位(object localization)等等领域十分有效。

超像素要想实际应用必须要运算速度快,简单易用,并且生成高质量的分割。不幸的是,现在最新的超像素生成方法都不能同时满足上述的要求。有的方法计算量大,有的算法分割质量差,有的算法包含多重难调的参数。

我们在本文中提出的方法,简单的同时达到了高质量整齐的超像素分割,并且比最新的方法都要效率高。我们提出的算法叫simple linear iterative clustering(SLIC),采用的是当地像素聚类(local clustering),该像素是5维的(5-D space), 是通过定义CIELAB颜色空间(就是Lab颜色空间)中的L,a,b数值以及x,y像素坐标。提出的一种全新的距离计算方法加强了超像素形状的整齐性,可以同时用于彩色图像和灰度图像。SLIC很简单就能实现---唯一需要的参数就是设定超像素的个数。在伯克利标准数据库(Berkeley benchmark dataset)中实验表明,SLIC在产生相似或更好的分割时,效率大幅度提高。该结论通过standard boundary recall和under-segmentationmeasures得到的。

对于很多视觉任务来说,紧凑整齐的超像素,就像SLIC生成的那样,是非常需要的。例如,基于图的模型条件随机场(ConditionalRandom Fields (CRF)),当从像素图到超像素图的时候,可以看到巨大的速度提升,但是松散的无关的超像素会使表现变差。如果超像素分割的松散的话,从超像素提取的本地特征SIFT会变得失去意义,没有区分度。这种现象可以通过比较两种视觉任务显现出来:物体分类识别和医学图像分割。两个例子中,我们的结果都比现有的方法表现要好并且计算量低。

2.研究背景

这个部分简要回顾现有的图像分割方法,重点放在生成超像素的适应性上。当然,并不是所有的算法都是用于这个目的,所以有的分割出来可能不够紧凑。但是我们依然讨论他们。

我们大体上将超像素算法分为两大类:基于图的和基于梯度上升的。我们的调查结果见Table 1,考虑的因素是分割质量,能不能控制分割数目和大小。

2.1基于图的分割算法

基于图的分割算法中,每个像素被认为是一个节点,两个节点间的边界权重取决于像素间的差值。超像素的分割是通过最小化一个定义在图上的cost funcation来得到的。Normalized cuts algorithm[9]是一个典型的算法,用的是形状(contour)和纹理(texture)。这是NC05的基本原理,NC05的算法复杂度为O(N3/2),N是像素的总个数。有方法可以提高运算效率,但是对大图像来说它仍然计算量大。NC05多用于骨架提取(skeletonization),人体模型估计(body modelestimation)。

Fezenszwalb和Huttenlocher[GS04]提出了一种采用最短生成树的算法,效率提高,但是不能控制超像素的数目和紧凑。算法的复杂度为O(NlogN)。

一种超像素网格的生成算法[SL08],是通过寻找最佳垂直或水平路径来切分图像,采用基于图像条的图割方法(Asuperpixel lattice is generated by [14] (SL08) by finding optimalvertical(horizontal) seams/paths that cut the image, within vertical(horizontal) strips of pixels, using graph cuts on strips of the image.)。SL08算法允许设定超像素的大小、数量,但分割质量和分割速度严重依赖于pre-computedboundary maps。

基于梯度上升的分割算法:从一个初始的粗糙聚类开始,每次迭代得到一个更好的分割,直到收敛为止。接下来讲了Mean-shift,Quick-shift,以及Watersheds和Turbopixels的优缺点。

2.2 基于梯度上升的算法

从一个初始的粗糙聚类开始,每次迭代得到一个更好的分割,直到收敛为止。接下来,作者讨论了一下Mean-shift,Quick-shift,以及Watersheds和Watersheds。简单介绍了一下,然后分析了一下它的缺点。

Mean-shift不能控制超像素的大小和数目,因为Mean-shift依赖于输入的核参数。

Quick-shift要比Mean-shift快一点,跟Mean-shift一样也不能控制超像素的大小和数目。

接下来还讲了一下Watersheds和Watersheds,但没讲这两种方法的缺点,只是简单的介绍了一下这方面的工作。

3.SLIC分割算法

我们生成超像素是通过基于颜色相似度和临近度的像素聚类。这是在5维中进行的,[labxy]。[lab]是指CIELAB颜色空间中的像素颜色向量。CIELAB颜色空间就是指HSV空间,亮度空间,xy指像素的位置。两种颜色的最大的空间是有限的,空间距离依赖于图片大小。不可能简单地采用欧式距离在这5维空间中,如果不对空间距离归一化的话。为了使5维空间中的像素聚类,我们因此引入了一种新的距离测量方法。通过这种新的测量方法,我们把颜色相似度和像素位置融合了起来。

3.1距离测量方法

输入一个超像素数目的参数K。那么对于一张N个像素的图像来说,每个超像素大小约为N/K个像素。那么,每两个相邻的超像素块之间的距离为s=sqrt(N/K)。算法开始时,我们选择聚类的中心Ck =[lk,ak,bk,xk,yk],k属于[1,K]。每个超像素的面积大约为S的平方(近似于超像素的面积)。我们可以安全地假设:像素在聚类中心的2S*2S范围内。这个范围就是每个聚类中心的搜寻范围。

欧式距离在亮度空间内小距离是很有意义的。如果空间像素距离超过了颜色距离,那么图像上的边界不再有效(文章的意思是这样是不对的)。因此,在5D空间中取代简单的欧式距离,我们采用Ds如下:

其中Ds是lab距离和归一化后的xy距离之和。其中变量m用来控制超像素的紧密度。m的值在[1,20]之间。在接下来的文章中,我们统一选择m=10。这个数值既能在感官经验上满足颜色距离最大化,又能很好的在颜色相似度和空间相似度的平衡。

3.2算法

我们开始采样K个空间聚类中心,并且移动到3X3的最低梯度位置。这样做的好处是避免把他们放到边界,也避免选择了噪点像素。图像梯度的计算公式是:

其中I(x,y)是lab向量在位置(x,y)上的值。||.||是用的L2 norm。这同时考虑了颜色和强度信息。

每个像素与最近的聚类中心联系起来,并且被该聚类中心的search area覆盖。所有的像素与聚类中心联系起来后,一个新的中心被计算出来了。这个新中心是所有属于该聚类的labxy向量的平均值。我们重复该过程直到收敛为止。

最后,可能存在一些迷失的labels,那是因为附近一个大一些的分割有同样的label但并没有包含它。但是很少见,这种情况可能增加,因为我们的聚类没有明确地加强连通性。不管怎样,我们在最后一步加强连通性,重新标记不相交的分割块,通过最大附近聚类的标签。这一步是O(N)复杂度,时间消耗小于整体分割的10%。

 

3.3 复杂度计算

很容易就会注意到,在我们的算法中,本地聚类和聚类中心是k均值算法的特殊的例子,应用于生成超像素算法中。有趣的是,凭借距离公式1,我们能够定位图像plane上像素寻找区域,该区域与超像素的个数K成反比。实际上,一个像素落在当地不超过8个聚类中心的范围内。我们也注意到本算法的收敛误差在某几次迭代中急剧下降。我们实验表明运行本算法4到10次就足够了。本文章中,我们采用10次迭代的方法。

经典的k均值算法的时间复杂度是O(NKI),N是数据量(像素点数),K是聚类数(seeds),I是迭代次数。我们的方法达到了O(N)级别的复杂度,因为计算距离(不超过8个聚类中心)和迭代次数都是常量。因此SLIC是专门用来处理超像素分割的而不像k均值,并且避免了一些多余的距离计算。

有一些算法已经改进了k均值的收敛速度[18,19,20,21]。但是除了[21]以外,对于一个给定的K,都没有达到线性复杂度。但是SLIC是关于K线性的。注意,像[21]一样,对于距离计算,SLIC隐性地设置了边界,但是却不需要在接下来的迭代中重新计算边界。不类似大多数的分割算法,SLIC是专门用来超像素聚类的,并且更加简单。

4.比较

本章节,我们拿本算法和4种最先进的分割算法作比较,该四种方法为GS04,NC05,TP09,QS09,用的是公开的源代码。GS04和NC05是基于图分割的,TP09,QS09是基于梯度分割的。NC05和TP09被设计用来输出确定数量的超像素,而GS04和QS09需要参数调节才能得到指定的超像素数量。这4中算法应该很好地代表了当前最新的研究成果。总之一句话,作者的意思是:我采用的比较算法是很全面,很具有代表性的。

图2 视觉化地呈现了比较结果。为了提供有质量的比较,我们采用了under-segmentation error和boundary recall作为比较参数,计算用的是Berkeley segmentation ground truth。

4.1 本算法的参数

正如简介中提到的那样,超像素分割的易用性也是十分重要的。难以设置的参数会导致时间的浪费和表现的不佳。表1给出了每种算法需要设置的参数。SLIC,NC05和TP09都只需要一个参数。更应该注意到的是:CS04和QS09不允许用户控制超像素的数目。为了公平的比较,我们不得不手动得到。

4.2 Under-segmentation error

Under-segmentationerror该误差是用来测量算法在分割图像的时候产生的错误,与算法比较的是已知的准确分割出的结果(ground truth,是通过手工分割出来的)。这误差是用“bleeding”得出的。(这句不懂!)该方法惩罚超像素跟真实分割不重合的情况。如果真实分割是g1,g2,...,gM,超像素是s1,s2,...,sL,那么Under-segmentation error的计算公式就是:

4.3 Boundary recall

我们采用标准的Boundaryrecall方法来计算落入超像素边界的比例。我们用的是每个超像素的内部边界。

4.4 计算和内存效率

对于480X320的图像,SLIC的速度比TP09快10倍,比NC05快500倍。令人振奋的是,对于半个百万像素图片来说,比CS04还要快。这是因为我们的算法是O(N),而GS04是O(NlogN)。这很有意义,因为即使低像素的摄像机产生的图片也能超过3百万像素。另外,GS04需要5xN的内存来存储边界权值和阈值,SLIC只需要1xN的内存(来存储每个像素到最近聚类的距离)。

4.5 讨论

一个好的超像素分割应该具有低的under-segmentation error和高的Boundary recall。作为有用的预处理算法的一种,分割算法应该得到大小相同的超像素并且能控制超像素的数量。同样的原因,应该具备低计算量,少的输入参数。实验表明:最高的Boundary recall是GS04。这是因为它的分割靠近目标边界。但是,GS04的under-segmentation error比本算法高。我们的算法under-segmentation error最低,并且Boundary recall也很高。GS04不能指定超像素的数目,并且每个超像素的大小也不一样,所以很多基于超像素的算法不适用GS04[5,6,7]。另外,我们的算法最快,产生的超像素大小相同紧凑。

5.超像素的应用

操作超像素比直接操作像素可以大大提高计算速度,有时候甚至可以得到更好的结果[7]。例如,一些基于图的分割可以提高2-3倍。当然,超像素算法本身应该快到符合实际应用的需求。接下来,我们考虑两种典型的视觉应用:物体分类识别(object class recognition)和医学图像分割(medical image segmentation)。在这两个例子中,超像素可以大幅度地提升效果并能够减少计算量。我们得出SLIC比其他的算法优秀,计算量少。

5.1 物体分类识别

用的测试库是STAIRvision library。效果好!

5.2医学图像分割

分析了很多,这块不翻译了。文中给出了很多比较图。

6. 结论

对于视觉任务,如物体分类识别,医学图像分割,超像素分割作为预处理步骤是非常有用的。但是要想实际应用必须能够得到高质量的超像素,大小也相同,计算量也要小。现在极少算法能够符合所有条件。我们提出一种新的,复杂度为O(N)的超像素分割算法。该算法方便部署,得到高质量的分割结果,计算量很小。仅仅需要1个参数(就是超像素的个数)作为输入参数。它仅仅需要线性的计算量和内存量。我们还证明了在物体分割识别和医学图像处理上的优越性。与最新的算法对比,得到的结果质量更好,能耗更低。

 

7.引用文献(reference)

这块不翻译了,见原文。

 

本文由 JKhere 翻译于2013年11月19日,仅供学习研究。

 提供word版本。


你可能感兴趣的:(超像素,superpixels)