基于graph的图像分割算法：Efficient Graph-Based Image Segmentation

Reference:
[1] Felzenszwalb, P.F. & Huttenlocher, D.P. International Journal of Computer Vision (2004) 59: 167. https://doi.org/10.1023/B:VISI.0000022288.19776.77

这篇文章阐述了一种传统的图像分割的方法，不需要任何的先验知识，原理也十分简单易懂。它是著名的标定框提取算法Selective search的基础。

Efficient Graph-Based Image Segmentation

这篇文献将图像的所有像素点视为一个无向图$G=(V,E)$的节点，将各条边$e=(v_i,v_j)\in E$对应于每一对相邻节点的连接。其权值$w(v_i,v_j)$为相邻两个节点的差。

分割算法中，最极端的情况是将每个像素都视为一个子图。该算法的初始化将图像分割为单个像素，并逐步进行融合，形成越来越少但越来越大的分割区域。给出一些定义：
1、Internal Difference $\mathrm{I}\mathrm{n}\mathrm{t}(\cdot )$
定义$\mathrm{I}\mathrm{n}\mathrm{t}(C)$为节点集$C$的最小生成树（Minimum Spanning Tree，MST）的最大权值。记为：
$$\begin{gathered} \mathrm{I}\mathrm{n}\mathrm{t}(C)=\underset{e\in MST(C,E)}{\max }w(e) \\ \mathrm{I}\mathrm{n}\mathrm{t}(C)=0\mathrm{i}\mathrm{f}\mathrm{o}\mathrm{n}\mathrm{l}\mathrm{y}\mathrm{o}\mathrm{n}\mathrm{e}\mathrm{n}\mathrm{o}\mathrm{d}\mathrm{e} \end{gathered}$$

2、Component Difference $\mathrm{D}\mathrm{i}\mathrm{f}(\cdot )$
定义$\mathrm{D}\mathrm{i}\mathrm{f}(C_i,C_j)$为连接两个子图的最小权值。记为：
$$\mathrm{D}\mathrm{i}\mathrm{f}(C_i,C_j)=\underset{v_i\in C_i,v_j\in C_j,(v_i,v_j)\in E}{\min }w(v_i,v_j)$$
如果不存在连接，则其$\mathrm{D}\mathrm{i}\mathrm{f}(C_i,C_j)$为$\infty$。

3、基于以上定义，我们可以判断两个相邻子图间是否存在边界，判断方式如下：
$$\mathrm{D}(C_i,C_j)=\{\begin{array}{r}True\mathrm{D}\mathrm{i}\mathrm{f}(c_i,c_j)>\min \{\mathrm{I}\mathrm{n}\mathrm{t}(c_i),\mathrm{I}\mathrm{n}\mathrm{t}(c_j)\}\\ Falseotherwise\end{array}$$

即，当图间距离大于图内距离时，其就有大概率可以成为分割的边缘。但这种判断方法有个缺陷：如果子图的像素点很少（尤其是单像素的情况），它的周边成为边缘的概率会变大，所以要对小区域进行惩罚。其判断准则演变为：
$$\mathrm{D}\mathrm{i}\mathrm{f}(C_i,C_j)>\min \{\mathrm{I}\mathrm{n}\mathrm{t}(C_i)+\frac{k}{|C_i|},\mathrm{I}\mathrm{n}\mathrm{t}(C_j)+\frac{k}{|C_j|}\}$$

其中$|C_i|$为$C_i$区域的大小。

Algorithm Process

有了以上定义，算法流程可以归结为：
（1）初始化
将图片中的每个像素设为一个子图component。显然每个区域有$\mathrm{I}\mathrm{n}\mathrm{t}(C_i)=0$。然后将所有edges进行升序排序，可得到$e\in E=\{e_1,e_2,...e_m\}$。
（2）迭代（$q=1,2,...,m$）
Step 1：提取边$e_q=(v_i,v_j)$，其中$v_i\in C_i$,$v_j\in C_j$。
Step 2：当$C_i̸=C_j$时，如果$D(C_i,C_j)=False$，则将$C_i$与$C_j$融合，同时使$\mathrm{I}\mathrm{n}\mathrm{t}(C_i\cup C_j)=w(e_q)$。
Step 3: $q\leftarrow q+1$，返回Step 1。

Results

文献中整个算法的超参数仅有两个：一个是上述提到的K值，还有是高斯滤波器的标准差。