图像分割-传统方法

所谓图像分割指的是根据灰度、颜色、纹理和形状等特征把图像划分成若干互不交迭的区域，并使这些特征在同一区域内呈现出相似性，而在不同区域间呈现出明显的差异性。

多数的图像分割算法均是基于灰度值的不连续和相似的性质。

1、基于阈值的分割方法

      阈值法的基本思想是基于图像的灰度特征来计算一个或多个灰度阈值，并将图像中每个像素的灰度值与阈值相比较，最后将像素根据比较结果分到合适的类别中。因此，该类方法最为关键的一步就是按照某个准则函数来求解最佳灰度阈值。

 

• 固定阈值分割:
  • 固定某像素值为分割点。
• 直方图双峰法：
  • Prewitt 等人于六十年代中期提出的直方图双峰法(也称 mode 法) 是典型的全局单阈值分割方法。该方法的基本思想是：假设图像中有明显的目标和背景，则其灰度直方图呈双峰分布，当灰度级直方图具有双峰特性时，选取两峰之间的谷对应的灰度级作为阈值。如果背景的灰度值在整个图像中可以合理地看作为恒定，而且所有物体与背景都具有几乎相同的对比度，那么，选择一个正确的、固定的全局阈值会有较好的效果.算法实现：找到第一个峰值和第二个峰值,再找到第一和第二个峰值之间的谷值，谷值就是那个阀值了。
• 迭代阈值图像分割:
  • 1．统计图像灰度直方图,求出图象的最大灰度值和最小灰度值，分别记为ZMAX和ZMIN，令初始阈值T0=(ZMAX+ZMIN)/2；
  • 2． 根据阈值TK将图象分割为前景和背景，计算小于TO所有灰度的均值ZO，和大于TO的所有灰度的均值ZB。
  • 3． 求出新阈值TK+1=(ZO+ZB)/2；
  • 4． 若TK==TK+1，则所得即为阈值；否则转2，迭代计算。
• 自适应阈值图像分割: 有时候物体和背景的对比度在图像中不是处处一样的，普通阈值分割难以起作用。这时候可以根据图像的局部特征分别采用不同的阈值进行分割。只要我们将图像分为几个区域，分别选择阈值，或动态地根据一定邻域范围选择每点处的阈值，从而进行图像分割。
  • 大津法 OTSU （最大类间方差法）：
    • 日本学者大津在1979年提出的自适应阈值确定方法。 按照图像的灰度特性，将图像分为背景和目标两部分。背景和目标之间的类间方差越大,说明构成图像的2部分的差别越大,当部分目标错分为背景或部分背景错分为目标都会导致2部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。
  • 均值法:
    • 把图像分成m*n块子图，求取每一块子图的灰度均值就是所有像素灰度值之和除以像素点的数量，这个均值就是阈值了。这种方法明显不比大津法好，因为均值法和大津法都是从图像整体来考虑阈值的，但是大津法找了一个类间方差最大值来求出最佳阈值的；这两种方法子图越多应该分割效果会好一点，但效率可能会变慢
• 最佳阈值:
  • 阈值选择需要根据具体问题来确定，一般通过实验来确定。如对某类图片，可以分析其直方图等。

 

 

 

特点

阈值分割的优点是计算简单、运算效率较高、速度快。全局阈值对于灰度相差很大的不同目标和背景能进行有效的分割。当图像的灰度差异不明显或不同目标的灰度值范围有重叠时，应采用局部阈值或动态阈值分割法。另一方面，这种方法只考虑像素本身的灰度值，一般不考虑空间特征，因而对噪声很敏感。在实际应用中，阈值法通常与其他方法结合使用。

阈值设定易受噪声和光亮度影响。近年来的方法有：用最大相关性原则选择阈值的方法、基于图像拓扑稳定状态的方法、Yager测度极小化方法、灰度共生矩阵方法、方差法、熵法、峰值和谷值分析法等，其中，自适应阈值法、最大熵法、模糊阈值法、类间阈值法是对传统阈值法改进较成功的几种算法。更多的情况下，阈值的选择会综合运用2种或2种以上的方法，这也是图像分割发展的一个趋势。

 

2、基于边缘的分割方法

 

       所谓边缘是指图像中两个不同区域的边界线上连续的像素点的集合，是图像局部特征不连续性的反映，体现了灰度、颜色、纹理等图像特性的突变。通常情况下，基于边缘的分割方法指的是基于灰度值的边缘检测，它是建立在边缘灰度值会呈现出阶跃型或屋顶型变化这一观测基础上的方法。

阶跃型边缘两边像素点的灰度值存在着明显的差异，而屋顶型边缘则位于灰度值上升或下降的转折处。正是基于这一特性，可以使用微分算子进行边缘检测，即使用一阶导数的极值与二阶导数的过零点来确定边缘，具体实现时可以使用图像与模板进行卷积来完成。

 

常用灰度的一阶或者二阶微分算子进行边缘检测。常用的微分算子有一次微分(sobel算子，Robert算子等)，二次微分(拉普拉斯算子等)和模板操作(Prewit算子，Kirsch算子等)。

特点

基于边缘的分割方法其难点在于边缘检测时抗噪性和检测精度之间的矛盾。若提高检测精度，则噪声产生的伪边缘会导致不合理的轮廓；若提高抗噪性，则会产生轮廓漏检和位置偏差。为此，人们提出各种多尺度边缘检测方法，根据实际问题设计多尺度边缘信息的结合方案，以较好的兼顾抗噪性和检测精度。

 

3、基于区域的分割方法

 

      此类方法是将图像按照相似性准则分成不同的区域，主要包括种子区域生长法、区域分裂合并法和分水岭法等几种类型。

       种子区域生长法是从一组代表不同生长区域的种子像素开始，接下来将种子像素邻域里符合条件的像素合并到种子像素所代表的生长区域中，并将新添加的像素作为新的种子像素继续合并过程，直到找不到符合条件的新像素为止。该方法的关键是选择合适的初始种子像素以及合理的生长准则。

             具体步骤－先对每个需要分割的区域找一个种子象素作为生长起点，然后将种子象素周围邻域中与种子象素有相同或相似性质的象素(根据某种事先确定的生长或相似准则来判定)合并到种子象素所在的区域中。将这些新象素当做新的种子象素继续进行上面的过程，直到再没有满足条件的象素可被包括进来，这样一个区域就长成了

              区域生长法时需要解决三个问题：

（1）选择或确定一组能正确代表所需区域的种子象素（2）确定在生长过程中能将相邻象素包括进来的准则（3）制定让生长过程停止的条件或规则

3种基本的生长准则和方法：基于区域灰度差、基于区域内灰度分布统计性质、基于区域形状

        区域分裂合并法（Gonzalez，2002）的基本思想是首先将图像任意分成若干互不相交的区域，然后再按照相关准则对这些区域进行分裂或者合并从而完成分割任务，该方法既适用于灰度图像分割也适用于纹理图像分割。

        在这类方法中，常根据图像的统计特性（区域的边缘信息来决定是否对区域进行合并或分裂）设定图像区域属性的一致性测度（基于灰度统计特性）

        分水岭法（Meyer，1990）是一种基于拓扑理论的数学形态学的分割方法，其基本思想是把图像看作是测地学上的拓扑地貌，图像中每一点像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭。该算法的实现可以模拟成洪水淹没的过程，图像的最低点首先被淹没，然后水逐渐淹没整个山谷。当水位到达一定高度的时候将会溢出，这时在水溢出的地方修建堤坝，重复这个过程直到整个图像上的点全部被淹没，这时所建立的一系列堤坝就成为分开各个盆地的分水岭。分水岭算法对微弱的边缘有着良好的响应，但图像中的噪声会使分水岭算法产生过分割的现象。为了达到更好的分割效果，常常将分水岭算法应用到梯度图像上，而不是图像本身。

特点

基于区域的分割方法往往会造成图像的过度分割，而单纯的基于边缘检测方法有时不能提供较好的区域结构，为此可将基于区域的方法和边缘检测的方法结合起来，发挥各自的优势以获得更好的分割效果。

 

4、基于图论的分割方法

 

        此类方法把图像分割问题与图的最小割（min cut）问题相关联。首先将图像映射为带权无向图G=，图中每个节点N∈V对应于图像中的每个像素，每条边∈E连接着一对相邻的像素，边的权值表示了相邻像素之间在灰度、颜色或纹理方面的非负相似度。而对图像的一个分割s就是对图的一个剪切，被分割的每个区域C∈S对应着图中的一个子图。而分割的最优原则就是使划分后的子图在内部保持相似度最大，而子图之间的相似度保持最小。基于图论的分割方法的本质就是移除特定的边，将图划分为若干子图从而实现分割。目前所了解到的基于图论的方法有GraphCut，GrabCut和Random Walk等。

5、基于能量泛函的分割方法

       该类方法主要指的是活动轮廓模型（active contour model）以及在其基础上发展出来的算法，其基本思想是使用连续曲线来表达目标边缘，并定义一个能量泛函使得其自变量包括边缘曲线，因此分割过程就转变为求解能量泛函的最小值的过程，一般可通过求解函数对应的欧拉(Euler．Lagrange)方程来实现，能量达到最小时的曲线位置就是目标的轮廓所在。按照模型中曲线表达形式的不同，活动轮廓模型可以分为两大类：参数活动轮廓模型（parametric active contour model）和几何活动轮廓模型（geometric active contour model）。

       参数活动轮廓模型是基于Lagrange框架，直接以曲线的参数化形式来表达曲线，最具代表性的是由Kasset a1(1987)所提出的Snake模型。该类模型在早期的生物图像分割领域得到了成功的应用，但其存在着分割结果受初始轮廓的设置影响较大以及难以处理曲线拓扑结构变化等缺点，此外其能量泛函只依赖于曲线参数的选择，与物体的几何形状无关，这也限制了其进一步的应用。

       几何活动轮廓模型的曲线运动过程是基于曲线的几何度量参数而非曲线的表达参数，因此可以较好地处理拓扑结构的变化，并可以解决参数活动轮廓模型难以解决的问题。而水平集（Level Set）方法（Osher，1988）的引入，则极大地推动了几何活动轮廓模型的发展，因此几何活动轮廓模型一般也可被称为水平集方法。

 

• • Snake模型：
    • 参考：
      • Michael Kass et al. Snakes: Active contour models. International Journal of Computer Vision, pages 321-331, 1987.
      • 图像分割之（五）活动轮廓模型之Snake模型简介
      • 计算机视觉之图像分割——Snake模型(1译文)
    • 在处理如边缘检测、角点识别、动态跟踪以及立体匹配等任务上非常成功。
    • SNAKE模型就是一条可变形的参数曲线及相应的能量函数，以最小化能量目标函数为目标，控制参数曲线变形，具有最小能量的闭合曲线就是目标轮廓。模型的形变受到同时作用在模型上的许多不同的力所控制，每一种力所产生一部分能量，这部分能量表示为活动轮廓模型的能量函数的一个独立的能量项。
    • 基本Snakes模型的能量函数由三项组成，弹性能量和弯曲能量合称内部能量（内部力），用于控制轮廓线的弹性形变，起到保持轮廓连续性和平滑性的作用。而第三项代表外部能量，也被称为图像能量，表示变形曲线与图像局部特征吻合的情况。内部能量仅仅跟snake的形状有关，而跟图像数据无关。而外部能量仅仅跟图像数据有关。在某一点的α和β的值决定曲线可以在这一点伸展和弯曲的程度。最终对图像的分割转化为求解能量函数Etotal(v)极小化（最小化轮廓的能量）。在能量函数极小化过程中，弹性能量迅速把轮廓线压缩成一个光滑的圆，弯曲能量驱使轮廓线成为光滑曲线或直线，而图像力则使轮廓线向图像的高梯度位置靠拢。基本Snakes模型就是在这3个力的联合作用下工作的。
    • snake相对于经典的特征提取方法有以下优点：
      • 通过正确设置和项前系数，可交互方式控制snake;
      • 容易操控，因为图像力是以直观的方式表现;
      • 在寻找最小能量状态的时候它们是自主的和自适应的;
      • 可以通过在图像能量函数中加入高斯平滑而对图像尺度敏感;
      • 可以用于跟踪时间或者空间维度上的动态目标。
    • snake的缺点：
      • 初始位置不同使得结果不同;
      • 经常陷入局部最小状态，这也许可以通过使用模拟退火技术来克服，代价就是计算时间增加;
      • 在最小化整个轮廓路径上的能量过程中经常忽略微小特征;
      • 精度由能量最小化技术中使用的收敛标准控制；更高的精度要求更严格的收敛标准，因此需要更长的计算时间。
  • ASM(Active Shape Model)
    • 参考：
      • Cootes T F, Taylor C J. Active Shape Models — ‘Smart Snakes’[M]// BMVC92. Springer London, 1992:266--275.
      • ASM(Active Shape Model) 主动形状模型总结
    • ASM（主动形状模型）是建立在PDM（点分布模型）的基础上，通过训练图像样本获取训练图像样本的特征点分布的统计信息，并且获取特征点允许存在的变化方向，实现在目标图像上寻找对应的特征点的位置。训练样本需要手动的标记所有的特征点的位置，记录特征点的坐标，并且计算每一个特征点对应的局部灰度模型作为局部特征点调整用的特征向量。在将训练好的模型放在目标图像上，寻找每一个特征点的下一个位置的时候，采用局部灰度模型寻找在当前特征点指定方向上局部灰度模型马氏距离最小的特征点作为当前特征点即将移动到的位置，称为suggested point, 找到所有的suggested points就可以获得一个搜索的suggested shape, 然后将当前的模型通过调整参数使得当前的模型最可能相似的调整到suggest shape，重复迭代直到实现收敛。
  • AAM(Active Appearance Models)
    • 参考：
      • Cootes T F, Edwards G J, Taylor C J. Active Appearance Models[C]// European Conference on Computer Vision. Springer Berlin Heidelberg, 1998:484-498.
      • AAM（Active Appearance Model）算法介绍
    • ASM是基于统计形状模型的基础上进行的，而AAM则是在ASM的基础上，进一步对纹理（将人脸图像变形到平均形状而得到的形状无关图像）进行统计建模，并将形状和纹理两个统计模型进一步融合为表观模型。
    • AAM模型相对于ASM模型的改进为：
      • 使用两个统计模型融合 取代 ASM的灰度模型。
      • 主要对特征点的特征描述子进行了改进，增加了描述子的复杂度和鲁棒性
  • CLM(Constrained local model)有约束的局部模型
    • 参考：
      • 机器学习理论与实战（十六）概率图模型04
    • CLM是有约束的局部模型，ASM也属于CLM的一种。CLM通过初始化平均脸的位置，然后让每个平均脸上的特征点在其邻域位置上进行搜索匹配来完成人脸点检测。整个过程分两个阶段：模型构建阶段和点拟合阶段。模型构建阶段又可以细分两个不同模型的构建：
      • 形状模型构建: 对人脸模型形状进行建模，说白了就是一个ASM的点分布函数（PDM），它描述了形状变化遵循的准则.
      • Patch模型构建: 对每个特征点周围邻域进行建模，也就说建立一个特征点匹配准则，怎么判断特征点是最佳匹配.
• 几何活动轮廓模型（geometric active contour model）:
  • 参考：
    • ·S.Osher,J.A.Sethian,Fronts propagating with curvature dependent speed:algorithms basedon Hamilton-Jacobi formulations.Journal of Computational Physics,1988,79:12—49
    • 图像分割___图像分割方法综述
  • 几何活动轮廓模型的曲线运动过程是基于曲线的几何度量参数而非曲线的表达参数，因此可以较好地处理拓扑结构的变化，并可以解决参数活动轮廓模型难以解决的问题。而水平集（Level Set）方法（Osher，1988）的引入，则极大地推动了几何活动轮廓模型的发展，因此几何活动轮廓模型一般也可被称为水平集方法。
  • 几何活动轮廓模型(Geometric Active Contours Model)是以曲线演化理论和水平集方法为理论基础,继参数活动轮廓模型后形变模型的又一发展,是图像分割和边界提取的重要工具之一。相对于参数活动轮廓模型,几何活动轮廓模型具有很多优点,如可以处理曲线的拓扑变化、对初始位置不敏感、具有稳定的数值解等.
  • 几何活动轮廓模型又可分为基于边界的活动轮廓模型、基于区域的活动轮廓模型。基于边界的活动轮廓模型主要依赖图像的边缘信息控制曲线的运动速度。在图像边缘强度较弱或是远离边缘的地方，轮廓曲线运动速度较大，而在图像边缘强度较强的地方，轮廓曲线运动速度较小甚至停止，使得最终的轮廓曲线运动到边缘位置.

 

 

 

6.基于数学形态学的分割方法

数学形态学是一种非线性滤波方法，可以用于抑制噪声、特性提取、边缘检测、图像分割等图像处理问题。数学形态学首先被用来处理二值图像，后来也被用来处理灰度图像，现在又有学者开始用软数学形态学和模糊形态学来解决计算机视觉方面的问题。数学形态学的特点是能将复杂的形状进行分解，并将有意义的形状分量从无用的信息中提取出来。它的基本思想是利用一个称为结构元素的探针来收集图像的信息，当探针在图像中不断的移动时，不仅可根据图像各个部分间的相互关系来了解图像的结构特征，而且利用数学形态学基本运算还可以构造出许多非常有效的图像处理与分析方法。其基本的形态运算是腐蚀与膨胀。腐蚀具有使目标缩小、目标内孔增大以及外部孤立噪声消除的效果;而膨胀是将图像中与目标物体接触的所有背景点合并到物体中的过程，结果是使目标增大、孔径缩小，可以增补目标中的空间，使其形成连通域。数学形态学中另一对基本运算方法是开运算和闭运算。开运算具有消除图像是细小物体，并在物体影响纤细处分离物体和平滑较大物体边界的作用;闭运算具有填充物体影像内细小空间， 接邻近物体和平滑边界的作用。

特点

数学形态学应用于图像分割，具有定位效果好、分割精度高、抗噪声性能好的特点。同时这种方法也有着自身的局限性：由于在图像处理的前期工作中，采用数学形态学的开(闭)运算，进行图像处理后，依然存在大量与目标不符的短线和孤立点;由于预处理工作的不彻底，还需要进行一系列的基于点的开(闭)运算，因此运算速度明显下降。如何将数学形态学与其它方法综合运用以克服这些缺陷，将是数学形态学以后的工作方向。连接邻近物体和平滑边界的作用。

 

7.运动分割

从空间分割的角度来看，视频图像分割主要是希望把其中独立运动的区域(目标)逐帧检测处理；从时间分割的角度来看，主要是把连续的序列分解为时间片断。这两种都同时利用时域信息(帧间灰度等的变化)和空域信息(帧内灰度等的变化)

运动图像的分割可直接利用时-空图像的灰度和梯度信息进行分割，也可采用在两帧视频图像间估计光流场，然后基于光流场进行。前者称为直接方法，后者称为间接方法。

假设照明条件在多帧图像间基本不变化，那么差图像的不为0处表明该处的象素发生了移动，也就是说，对时间上相邻的两幅图像求差，可以将图像中目标的位置和形状变化突出出来

►这种目标检测方法的优点是计算简单、易于实时，位置准确，但它要求背景绝对静止或基本无变化（噪声较小），不适用于摄像头运动或者背景灰度变化很大的情况，因而适用场合有限，另外其不足之处还在于受环境光线变化的影响较大，在非受控环境下需要加入背景图像更新机制。而对于相邻帧差分法对运动目标很敏感，但检测出的物体的位置不精确，其外接矩形在运动方向上被拉伸，这实际上是由相对运动与物体位置并非完全一致引起的

在光流场中，不同的物体会有不同的速度，大面积背景的运动会在图像上产生较为均匀的速度矢量区域，这为具有不同速度的其它运动物体的分割提供了方便。

 

 

参考：https://zhuanlan.zhihu.com/p/30732385

https://blog.csdn.net/zouxy09/article/details/8532106