Contour Detection and Hierarchical Image Segmentation

本文大部分内容来自下面的参考链接,加上自己对源代码和论文的一些理解。写下来以备后续查找!

一 、论文原理分析

算法路线:gPb—->OWT—–>UCM

每一部分的功能:

  • gPb(Global Pb):计算每一个pixel作为boundary的可能性,即pixel的weight;
  • OWT(Oriented Watershed Transform)将上述gPb的结果转换为多个闭合的regions;
  • UCM(Ultrametric Contour Map)将上述regions集,转换为hierarchical tree。

这里出现了很多名词,如:什么是hierarchical tree?什么是Oriented Watershed Transform。

1.1 gPb(Global Probability of Boundary)

gPb是mPb和sPb的加权和。
mPb是什么?sPb是什么?

- step1:计算G(x,y,θ)
对于每一个pixel,以其为圆心,做一个圆形:
Contour Detection and Hierarchical Image Segmentation_第1张图片
用倾斜角为θ的直径,将圆形划分为两个区域,对于每一个区域中的pixels,做出它们的histogram,如下:
Contour Detection and Hierarchical Image Segmentation_第2张图片
使用histogram数据,计算其卡方距离:
Contour Detection and Hierarchical Image Segmentation_第3张图片
该距离即为G(x,y,θ),代表pixel(x,y)以θ为方向的gradient magnitude;

- step2:计算mPb
普通的Pb算法,将一幅图片,分解为4个不同的feature channels,分别为brightness、color a、color b以及texture channel,其中前三个channels是基于CIE color space。

而每个pixel的weight就是由这4个channels下计算得到的G(x,y,θ)值的加权和。

针对普通的Pb算法,作者提出了multiscale的方法,即为mPb。

它的原理是在原有Pb算法的基础上,同时使用多个圆形直径长度δ(作者使用三个,[ δ/2 ,δ, 2δ]),针对每一个δ,计算其G(x,y,θ),最终公式如下:
Contour Detection and Hierarchical Image Segmentation_第4张图片
公式中的i代表channel,s代表scale。
意思是,对于每一个pixel,我们计算其在不同直径条件下的每一个feature channel的和,作为其mPb值。
α代表每一个不同直径条件下的每一个feature channel的权重,是针对F-measure进行gradient ascent得到,使用的训练集是BSDS。

- step3:计算sPb
作者首先作出了一个sparse symmetric affinity matrix W,其中每一个元素Wij的计算如下:
Contour Detection and Hierarchical Image Segmentation_第5张图片
i,j代表两个距离不超过半径r(单位:像素,作者在代码中设定r=5)的像素,p是两个像素连成的线段上的任意一个点,找到某两个pixel连成的线段上的pixel的weight的最大值。ρ是常数,作者代码中设定为ρ= 0.1。

该矩阵W代表pixels之间的相似度,通过令:
Dii
得到矩阵D,由:
特征向量
计算得到前n+1个特征向量,代码中作者使用的是n=16.

接着,作者将每一个特征向量视为一幅图片,使用Gaussian Directional Derivative Filters对其进行卷积操作,得到:
这里写图片描述
从而得到sPb计算公式:
sPb
其中的参数:参数是将特征向量的物理解释问题视为mass-spring system得到的。

- step4:计算gPb
综合mPb和sPb,得到gPb。
gPb
β参数前面前文已经解释,参数γ是使用BSDS训练集,通过在
F-measure =这里写图片描述
上进行gradient ascent得到。

最后,对于该gPb值进行sigmoid函数变换,使其值处于0-1之间,作为该pixel作为boundary的probability,我在下文都将其称为pixel的weight。

1.2 OWT(Oriented Watershed Transform)

对于每一个pixel,代入八个设定的角度θ∈[0, pi],取其最大值作为边缘的权重。该E(x,y,θ)即为gPb公式。
E(x,y)
这样,每一个pixel均被赋予一个0到1之间的值,其值大小表示该pixel是boundary的可能性。

接着使用WT(Watershed Transform)技术,将以上的输入转化为一系列Po(regions)和Ko(arcs)。如图:
Contour Detection and Hierarchical Image Segmentation_第6张图片
图中,红点为其region的minimal,arcs为其边界。

原来的WT算法,是使用该arc上的pixels的weight的平均值作为其强度。

然而这种方法,会导致一些弱arc的某些pixels因为处于强arc的周边,在计算E(x,y) 的过程中,选择了针对强arc的方向θ,从而该pixel的值偏大,于是弱arc的强度也相应偏大。

此句话的意思为:计算某一个arc pixel的值时,有八个方向的权重可以选择,之前的选择方案是无论什么情况下均选择使得E(x,y,θ)最大的θ方向的值,而并没有考虑arc的走势,可能会导致本来值应该较小的元素,因为θ方向E(x,y,θ)值最大,取该方向后,导致计算出来的该像素点的值也偏大

如下图所示,两个石头像的中间,有许多横的强arc:
Contour Detection and Hierarchical Image Segmentation_第7张图片 Contour Detection and Hierarchical Image Segmentation_第8张图片
原图中并没有这些横的强arc边缘,这是不合理的。

作者提出的OWT,是在原来WT的基础上,对所有处在arc上的pixel,重新选择合理的方向θ,计算E(x, y, θ),从而对arc的强度值作调整,方法如下:

这里对所有处在arc上的pixels重新选择方向,计算arc强度,那么如何判断哪些pixels处于arc上呢?使用原始WT计算一遍,得到哪些pixels属于regions,哪些pixels属于arcs,然后对于处于arc上的所有pixels重新计算其权值,计算方法为:选择沿着弧线方向的E(x, y, θ)得到E(x,y);最后计算每个arc的强度,即arc上所有pixels的weight的平均值。

过程如下:

  1. 对于每一个arc,将该arc subdivide(分割)为许多线段,如图:
    Contour Detection and Hierarchical Image Segmentation_第9张图片
  2. 计算每个线段的方向,使用o(x,y)表示其方向
  3. 使用下面的公式,重新计算每一个pixel的gPb(E(x,y))值:
    这里写图片描述
  4. 重新计算每个arc的强度,即取arc上所有pixels的weight的平均值作为arc最终的权重值。

左为修改前,右为修改后:

Contour Detection and Hierarchical Image Segmentation_第10张图片 Contour Detection and Hierarchical Image Segmentation_第11张图片

前面的内容总结为:使用四个通道特征(brightness、color a、color b and texture),三个半径尺寸,计算得到每个像素点在八个方向的权重,该权重大小指示该像素点为边界的可能性大小,即该点值某个方向的值越大,表示该点的为边界的可能性越大;取使得E(x,y,theta)最大的theta,得到gPb,即pixel(x,y)为边界的可能性E(x,y),以得到的E(x,y)作为输入,使用WT将所有像素点分为Po(regions)和Ko(arcs),原来WT算法中arcs的权重直接采用该arc上所有pixels的权重的均值,现在重新计算arc上每个像素点沿arc方向的E(x,y,o(x,y))的值,然后再取arc上所有pixels的均值作为arc的值。

因为,如果不重新计算,直接取均值,有可能一条弧线上,一个权重较小的点,挨着一个权重较大的点,均值将使得该权重较小点的权重偏大。如图中横线,本来值较小,因为相交点沿红线方向的权重较大,如果相交点取沿红线方向的值,那么弧上点的值取平均的时候,该横线的整体权重被拉大。修改后,相交点,该点沿着红线方向的值较大,沿着横线方向的权重较小,所以横线的整体权重变得相对更加准确些。

为什么要计算一个像素点八个方向的权重?我觉得就是想要知道在哪个方向的时候,该像素点两边的差距最大,即边缘方向的问题,所以八个方向的计算是为了第二步,OWT的使用。
WT,分水岭算法,使用E(x,y)作为其输入,将所有像素点分为Po(regions)和Ko(arcs),原来的arcs的权重直接采用该arc上所有pixels的权重的均值,现在重新计算arc上每个像素点沿arc方向的E(x,y,o(x,y))的值,然后再取arc上所有pixels的均值作为arc的值。

1.3 UCM(Ultrametric Contour Map)

为了在不同细节层次上对图像进行segmentation,作者使用了Ultrametric Contour Map(UCM)。

OWT算法已经output出细节度最高的regions集合,接下来,作者作出一个graph,如下:

这里写图片描述

其中,Po是regions,Ko是arcs,W(Ko)是该arc的强度。该图以region作为node,若两region相邻,则其对应的两个node相连,连接强度为W(Ko);

下一步,设两两regions之间的dissimilarity为其共同arc的强度平均值。

使用一种基于graph的merging技术,以两两regions之间的dissimilarity作为衡量标准,将regions按照dissimilarity升序排列,依次将dissimilarity小的region合并,直到最后只有一个region,这样,就完成了hierarchical tree的建设。

Hierarchical Tree的构建过程,类似于Huffman树的构建过程

在这颗树中,因为生成树的每一个步骤,都是去除dissimilarity最小的arc,从而将两个region合并,因此,树中某个region元素的高度就代表着合并得到该region时,去除的arc的强度值大小,即:

H(R) = W(C)

因此,可以得到一个矩阵:
这里写图片描述

该矩阵的元素代表细节度最高的segmentation下,所有regions两两之间的dissimilarity,其值由两region的最小公共所属region的高度
这里写图片描述
决定。

元素值计算公式如下:
这里写图片描述

总结:Hierarchical Tree
Hierarchical Tree将OWT得到的结果,以regions为顶点,arc的强度为权重,使用graph的merging技术,类似于Huffman树的构建过程,每次从候选集中选择两个最小的node合并,本文即为每次从候选regions中选择两个拥有最小dissimilarity的regions,即两个最相近的regions。
本文设两两regions之间的dissimilarity为其共同arc的强度平均值
如果两个regions相邻,则其dissimilarity即为两个regions共同arc的强度;如果两个regions不相邻,则取其公共区域的高度,如下图所示:
Contour Detection and Hierarchical Image Segmentation_第12张图片
设:
D(R1,R)=avg(arc1) %R1和R的距离为两个regions公共弧的平均值
D(R,R2)=avg(arc2)
那么,D(R1,R2)= max(D(R1,R),D(R,R2))
因为,假设arc1的平均值小于arc2,即D(R1,R)< D(R,R2),那么R和R1会先合并,设合并后的regions称为R3,那么R3与R2之间的dissimilarity即为arc2的平均值,因为R3和R2的公共弧为arc2。所以,R1和R2之间的dissimilarity如上。

对上面两个公式的计算仍然是不甚理解!!!

这是一个Ultrametric Contour Map(UCM)

因此,可以设定不同的阈值k,从而得到不同细节度的segmentation。

1.4 总结

作者在原有的方法上,主要做了这四个方面的革新:

  1. 在contour detector部分中的mPb环节引入了multiscale的概念,提出了mPb算法,可以将其视作普通Pb算法的加强版,公式如下:
    Contour Detection and Hierarchical Image Segmentation_第13张图片
  2. 在contour detector部分中的sPb环节,对特征向量采取Gaussian directional derivative filters卷积操作,公式如下:
    这里写图片描述

  3. 提出了OWT(Oriented Watershed Transform),对原来算法中受强boundary影响而存在问题的pixel,结合其所属arc的方向再次计算其weight。

  4. 将OWT生成的region集合组合成UCM(Ultrametric Contour Map),使得我们可以通过阈值k来输出不同细节度的图像轮廓。

二、部分代码说明

如果需要分割效果图,运行BSR/grouping中代码,如果要看P-R曲线图就运行BSR/bench代码。

想要理解原理,最好下载源码。

在grouping中有文件夹:data、interactive、lib和source;文件example.m、run_bsds500.m
data文件夹下:包含运行程序要输入的源文件和输出文件;
lib文件夹:.m中使用addpath指令,将该目录下的文件加入到工作目录中,其下文件为使用mex编译过的C++文件或要使用的.m文件。
source文件夹下:源文件,lib中某些文件是使用source中的源文件编译所得。
Contour Detection and Hierarchical Image Segmentation_第14张图片

下面主要对该接口函数内部实现进行简要说明:
接口函数的注释分为以下几个部分:

/*Compute bg histogram smoothing kernel*/
/*get_image*/
/*mirror border*/
/*convert to grayscale*/
/*gamma correct*/
/*convert to Lab*/
/*quantize color channels*/
/*compute texton filter set*/
/*compute textons*/
/*return textons*/
/*compute bg at each radius*/
/*compute cga at each radius*/
/*compute cgb at each radius*/
/*compute tg at each radius*/
/*return textons*/

分别对应程序运行中输出的内容为:
Contour Detection and Hierarchical Image Segmentation_第15张图片
lib_image命名空间下的函数,如
lib_image::grayscale()
lib_image类定义在:
BSR/grouping/source/gpb_src/include/math/libraries/lib_image.hh中;
相应的函数实现在
BSR/grouping/source/gpb_src/src/math/libraries/lib_image.cc中。

其中的一些代码实现如下所示,代码布置比较容易看懂,作者将相关函数的实现集中在一起,并有较为详细的说明。

/*Image processing functions*/
class lib_image{
    public:

    /***********************************************
        **Image color space transforms.**
          -----------------------------
     Input RGB images should be scaled so that range 
     of possible values for each color channel is [0,1].
    ************************************************/
    /*Compute a grayscale image from an RGB image*/
    static matrix<> grayscale(
        const matrix<> &, /*r*/
        const matrix<> &, /*g*/
        const matrix<> & /*b*/
        );
    /*Normalize a grayscale image so that intensity values lie in [0,1]*/
    static void grayscale_normalize(matrix<> &);
    /*Normalize a grayscale image so that intensity values span the full [0,1] range*/
    static void grayscale_normalize_stretch(matrix<> &);

    /*Gamma correct the RGB image using the given correction value*/
    static void rgb_gamma_correct(
        matrix<>&, /*r*/
        matrix<>&, /*g*/
        matrix<>&, /*b*/
        double /*gamma*/
    );

    /*Normalize an Lab image so that values for each channel lie in [0,1]*/
    static void lab_normalize(
        matrix<>&,/*l*/
        matrix<>&,/*a*/
        matrix<>&/*b*/
    );

    /*Convert from RGB color space to XYZ color space*/
    static void rgb_to_xyz(
        matrix<>&, /*r (input) --> x(output)*/
        matrix<>&, /*g (input) --> y(output)*/
        matrix<>&  /*b (input) --> z(output)*/
    );

    /*Convert from RGB color space to Lab color space*/
    static void rgb_to_lab(
        matrix<>&, /*r (input) --> l(output)*/
        matrix<>&, /*g (input) --> a(output)*/
        matrix<>&  /*b (input) --> b(output)*/
    );
    ......

    /*  **用到的几个函数解析.** */

    /***********************************************
        **Gaussian Kernels.**
          -----------------------------
    The kernels are evaluated at integer coordinates in the range[-s,s] (in the 1D case) or 
    [-s_x,s_x]*[-s_y,s_y](in the 2D case), where s is the specified support.
    ************************************************/
    //一维的情形
    /* The length of the returned vector is 2*support + 1
    the support defaults to 3*sigma.
    The kernel is normalized to have unit L1 norm.
    */
    static matrix<> gaussian(
        double = 1, /*sigma*/
        unsigned int =0, /*derivative(0,1,2)*/
        bool = false /*take hilbert transform?*/
    );
    static matrix<> gaussian(
        double, /*sigma*/
        unsigned int , /*derivative(0,1,2)*/
        bool,  /*take hilbert transform?*/
        unsigned long /*support*/
    );
    //二维的情形
    static matrix gaussian_2D(
        double =1, /*sigma x*/
        double =1, /*sigma y*/
        double =0, /*orientation*/
        unsigned int =0, /*derivation in y-direction(0,1 or 2)*/
        bool =false /*take hilbert transform in y-direction?*/
    );
    static matrix gaussian_2D(
        double , /*sigma x*/
        double , /*sigma y*/
        double , /*orientation*/
        unsigned int; /*derivation in y-direction(0,1 or 2)*/
        bool , /*take hilbert transform in y-direction?*/
        unsigned long, /*x support*/
        unsigned long /*y support*/
    );
    /***********************************************
    Quantize image values into uniformly spaced bins in [0,1].
    Return the assignments and (optionally) bin centroids.
    ************************************************/
    static matrixlong> quantize_values(
        const matrix<>&,   /*image*/
        unsigned long      /* number of bins */ 
    );
    /***********************************************
        **Difference of histogram(2D).**
          -----------------------------

    ************************************************/
}
auto_collection< matrix<>, array_list< matrix<> > > lib_image::hist_gradient_2D(
   const matrix<unsigned long>&                 labels,
   unsigned long                                r,
   unsigned long                                n_ori,
   const matrix<>&                              smoothing_kernel,
   const distanceable_functor,double>& f_dist)
{
   /* construct weight matrix for circular disc */
   matrix<> weights = weight_matrix_disc(r);
   /* compute oriented gradient histograms */
   return lib_image::hist_gradient_2D(
      labels, weights, n_ori, smoothing_kernel, f_dist
   );
}

/*
 * Construct weight matrix for circular disc of the given radius.
 */
matrix<> weight_matrix_disc(unsigned long r) {
   /* initialize matrix */
   unsigned long size = 2*r + 1;
   matrix<> weights(size, size);
   /* set values in disc to 1 */
   long radius = static_cast<long>(r);
   long r_sq = radius * radius;
   unsigned long ind = 0;
   for (long x = -radius; x <= radius; x++) {
      long x_sq = x * x;
      for (long y = -radius; y <= radius; y++) {
         /* check if index is within disc */
         long y_sq = y * y;
         if ((x_sq + y_sq) <= r_sq)
            weights[ind] = 1;
         /* increment linear index */
         ind++;
      }
   }
   return weights;
}

参考文献

1、作者公布文章和资源下载地址为:
http://www.eecs.berkeley.edu/Research/Projects/CS/vision/grouping/resources.html
2、 Contour Detection and Hierarchical Image Segmentation 源码编译运行
http://blog.csdn.net/blitzskies/article/details/19686179
其中包括连接,对bench的测试,即P-R曲线的测试。
3、Contour Detection and Hierarchical Image Segmentation 伯克利的一篇图像分割论文理解与学习
http://blog.csdn.net/alex_luodazhi/article/details/47337327

你可能感兴趣的:(图像处理)