【OpenMMLab AI实战营第二期】语义分割与MMSegmentation

MMSegmentation

开源代码仓：https://github.com/open-mmlab/mmsegmentation

算法丰富：600+预训练模型、40+篇算法复现

模块化设计：配置简便、容易拓展

统一超参：大量消融实验、支持公平对比

使用方便：训练工具、调试工具、推理API

语义分割

基本思路

按颜色分割

物体内部颜色相近，物体交接颜色变化

基于图像处理方法，按照颜色分割

逐像素分割

优势：可以充分利用已有的图像分类模型

问题：效率低下，重叠区域重复计算卷积

预测图的升采样

问题：

图像分类模型使用降采样层（步长卷积或池化）获得高层次特征，导致全卷及网络输出尺寸小于原图，而分割要求同尺寸输出

解决方法：

对预测的分割图升采样，恢复原图分辨率，升采样方案：

1. 双线性插值

2. 转置卷积：可学习的升采样层

基于多层特征的上采样

问题：基于顶层特征预测，再升采样32倍得到的预测图较为粗糙

分析：高层特征经过多次降采样，细节丢失严重

解决思路：结合低层次和高层次特征图

解决方案FCN：

基于低层次和高层次特征图分别产生类别预测，升采样到原图大小，再平均得到最终结果

上下文信息

原图-主干网络-特征图-预测图

PSPNET

原图-特征图-多尺度池化-特征拼接-类别预测

对特征图进行不同尺度的赤化，得到不同尺度的上下文特征

上下文特征经过通道压缩和空间上采样之后拼接回原特征图->同时包含局部和上下文特征

基于融合的特征产生预测图

DeepLab系列

DeepLab是语义分割的又一系列工作

主要贡献:

• 使用空洞卷积解决网络中的下采样问题

• 使用条件随机场CRF作为后处理手段，精细化分割图

• 使用多尺度的空洞卷积（ASPP模块）捕捉上下文信息

DeepLab V1 发表于2014年，2016、2017、2018提出了V2、V3、V3+版本

空洞卷积解决下采样问题

图像分类模型的下采样层使输出尺寸变小

如果将池化层和卷积层中的步上去掉：

• 可以减少下采样的次数

• 特征图就会变大，需要对应增大卷积核，以维持相同的感受野，但会增加大量的参数

• 使用空洞卷积（Dilated Convolution/Atrous Convolution），在不增加参数的情况下增大感受野

标准卷积：

特征图-下采样-卷积运算-卷积核-结果

空洞卷积：

特征图不变膨胀卷积核再进行卷积运算-膨胀卷积核不产生额外参数-相同计算结果下采样加标准卷积等价于空洞卷积

空洞卷积和下采样

使用升采样方案得到的特征图只有原图的1/4位置的响应，需要配合插值

使用空洞卷积可以得到相同分辨率的特征图且无需额外插值操作

DeepLab模型

DeepLab在图像分类网络基础上做了修改：

• 去除分类模型中的后半部分的下采样层

• 后续的卷积层改为膨胀卷积，并且逐步增加rate来维持源网络的感受野

条件随机场 CRF

模型直接输出的分割图较为粗糙，尤其在物体边界处不能产生很好的分割结果

DeepLab V1&V2使用条件随机场(CRF)作为后处理手段，结合原图颜色和神经网络的预测的类别得到精细化分割结果

CRF是一种概率模型，DeepLab使用CRF对分割结果进行建模，用能量函数用来表示分割结果优劣，通过最小化能量函数获得更好的分割结果

空间金字塔池化

PSPNet使用不同尺度的池化来获取不同尺度的上下文信息

DeepLab V2&V3使用不同尺度的空间卷积达到类似效果

更大膨胀率的空洞卷积-更大感受野-更多的上下文特征

DeepLab V3+

• DeepLab V2/V3 模型使用ASPP捕捉上下文特征

• Encoder/Decoder结果（如UNet）在上采样过程中融入低层次特征图，以获得更精细的分割图

• DeepLab V3+将两种思路融合，在原有模型结构上增加了一个简单的decoder结构

Encoder通过ASPP产生多尺度的高层语义信息

Decoder主要融合低层特征产生惊喜的分割结果