Image and Video Processing课程学习（三）图像分割

最近在学习图像处理，课程是杜克大学的Image and Video Processing: From Mars to Hollywood with a Stop at the Hospita，原课程带中文字幕来自Coursera，此外B站有英文字幕的版本（看的话直接在两个网站搜名字就好了）。

本文仅仅是自己对所学内容的梳理，如果想学习请务必观看原视频，看不懂的话可以再来贴下讨论

本文仅仅是自己对所学内容的梳理，如果想学习请务必观看原视频，看不懂的话可以再来贴下讨论

第四章——图像分割

开头讲了霍夫变换和大津阈值分割，这些我在其他博文有叙述过，所以在此不表。

交互式图像分割

该分割方法我觉得我以不会用的到，所以简单提一提，该种分割方式需要人工标注前景和后景要素（要人工的，散了吧）。见下图，收集到标注的像素后，看看其他未标注的像素是接近前景还是后景。

但是有些前景像素会像后景怎么办，例如猫的眼睛会像后景的阴影，辣么，教授提出一种新的解决办法，计算像素到已标注的像素的路径。举个例子，如果是猫眼睛的像素，到蓝色标注线(前景标注线）的路上都是判定为前景的猫毛，到绿色标注线（后景标注线）上不仅要趟过猫毛（前景），还要越过窗帘（后景），于是乎猫眼睛到蓝色标注线的路途更容易（变化梯度小），就被判定为前景。

之后还没完，我们得到的边界只是大致边界，还能进一步细化，见下图，我们可以对已获取的大致边界作朝向两边的缓冲区，再利用B和F分别作为后景、前景的样本再去缓冲区内做一次前景识别（现在的样本要比第一次几条线要充实的多），来估算出更准确的边界。

分割原理简单说明

如下图所示，两个大黑点代表前景和后景，其余点代表图像像素，靠粗细箭头（属于前后景的大小概率）连接着两个大黑点。最小分割就是沿着后景（注意看底图）的一端（后景概率大的一个点），一直沿着梯度走，当撞到前景像素时沿着前景标识（与后景的小概率连线）闪避，最后成功绕过前景分割出后景。

主动轮廓模型（Mumford-Shah）

这个方法看起来像是图像压缩？？总而言之，就是用一致或平滑过渡的灰度值去填充每个分割段，基本思想就是通过分段平滑函数找到原始图像的最佳逼近。那么它和图像压缩的量化又有啥子区别？区别就在于它是在量化图像和减少图像边缘两种目的的一个折中。

主动轮廓模型与前景提取

主动轮廓模型的主要原理通过构造能量泛函，在能量函数最小值驱动下，轮廓曲线逐渐向待检测物体的边缘逼近，最终分割出目标，可以理解为人罩在头上的塑料袋逐渐漏气映出人脸。（具体的数学原理要放在以后曲线微分中讲）

视屏中图像分割

视频中的图像分割，能干嘛？可以提取出人像（前景），搞特效。怎么提取？教授给出了两种场合下的方法：1.利用前一帧分割下一帧…2.多帧分割

利用前一帧分割下一帧（形状、色彩信息）

首先要注意，该分割是建立在块状区域而非整体图像，见下图。块状区域没有整副图像色彩信息复杂，可以很好地实现色彩分割。分割开始，我们拥有的是人工标注的前一帧图像，并可以获取前景后景色彩分布和形状位置特征。由于一般前后帧前景位置变化不大，所以我们可以利用上一帧的前景位置信息（形状）和色彩分布信息，并融合下一帧的色彩信息来分割出前景。

分割结果见下图。

怎么融合形状和色彩呢，主要是看两者的权重，规则很简单。色彩区分度大的，色彩权重就高，反之形状权重高。

形状配合色彩的分割效果，在局块状区域有很好的效果（非全局影像分割）

多帧分割

教授讲的多帧分割注意点一共分为两个：第一点见下图，当图像采取上述方式误差也会随着一帧帧变化累积增大，解决方法是时刻借助第一帧来校正。

第二点就是学习块状区域在帧之间的移动，当选定区域时能迅速锁定其他帧的相同区域。

本章主要是讲述了一些方法的思想与应用，干货较大，下章讲解数学知识可能会收获多一点。