深度学习用于图像分割

图像的分割

1. 显著性分割：最能引起人视觉注意的物体区域
2. 物体分割：Graph Cut/Grab Cut
3. 语义分割：手工特征+图模型/识别图像内容

深度学习常用三大数据集（Pascal VOC，MSCOCO，Cityscapes）

1.显著性检测：由VGG网络修改而成

前景背景分割前景包含物体，需要交互，提供标记。

2.物体分割：

Graph Cut分割：基于图论的分割方法（像素相连）

Grab Cut分割：前景，背景的颜色模型

  高斯混合模型

  K-means算法

                                         1.优化前景背景颜色模型

                                                                    2.能量随迭代变小    

                                         3.分割效果越来越好

3. 语义分割：

从像素水平，理解，识别图片内容

根据语义信息分割

以前（2015年之前）手工特征+图模型（CRF）

2015年开始，深度神经网络模型

传统CNN问题：后半段无空间信息，输入尺寸固定。

DEMO

DeeLab

1.优化后的DCNN+传统的CRF（条件随机场）

2.新的上采样卷积：带孔结构的膨胀卷积

3.多尺度 图片表达：空间金字塔池化

4.边界分割优化：使用全连接随机场CRF进行迭代优化

模块1：DCNN输出粗糙分割结果

模块2：全连接CRF下精化分割结果

孔算法：1.解决输出不密集的问题

       2.降低池化层的降采样倍数

VGG 16  步长由2->1

               3.减小降采样倍数：32->8

               4.感受野会受影响

               更改卷积的结构->加孔（hole）

                   无上采样功能

                   保证网络最终的密集输出（仅8倍降采样）

DCNN空间金字塔池化

           不同感受野（rate）捕捉不同尺度上的特征

           在conv6层引入4个膨胀卷积

                rate:6,12,18,24

全卷积网络：所有层都是卷积层，解决降采样后低分辨率问题（AlexNet构建FCN）

卷积化：将所有全连接层转化为卷积层，适应任何尺寸的输入，输出低分辨率分割图片

反卷积：将低分辨率图片进行上采样，输出同分辨率的分割图片

跳层机构：精化分割图片（直接用32倍反卷积，使用前两个卷积层输出融合）

全连接CRF

           通过迭代精化分割效果（恢复精确边界）

输入：FCN网络输出结果的8倍双线性插值

                   上一轮迭代结果

        能量计算基于图片RGB像素值

                

代码：https://github.com/zy197997312/Deeplab

效果（迭代200次，更精确的效果需要迭代更久）