图像分割：DeepLabV3与DeepLabV3+介绍

  本文的代码整理来自b站大佬Bubbliiiing和霹雳吧啦Wz的视频整理，感兴趣的朋友可以去观看相关视频，本博客是对该视频内容的学习总结经验，如有不正确的地方，还望指出。

  接下来先介绍一下V3网络，后续说V3+网络

目录

DeepLabV3网络的介绍

ASPP结构的改动

两种模型结构区别

DeepLabV3+网络

   加强特征提取网络说明

---

DeepLabV3网络的介绍

   相比于V2网络，V3网络的改进有如下三点：

        1、引入了Multi-grid,可以输入大分辨率图片

        2、对ASPP结构进行改进

        3、将CRFs后处理删掉

ASPP结构的改动

  由上图可发现，V2的ASPP结构是通过四个相同3 * 3 膨胀卷积，没有使用BN(Batch-Normalization，膨胀系数不同；（r=rate,p=padding）

    V3的ASPP结构是通过一个1*1普通卷积，三个3*3的膨胀卷积，一个全局平均池化层（后接1*1卷积，通过双线性差值得到输入的W，H）,使用了BN和ReLu,膨胀系数不同。

两种模型结构区别

  由图知，两种结构分别为cascaded model级联型 和 ASPP model金字塔池化型

  cascaded model中Block1,2,3,4是ResNet网络的层结构（V3主干网络采用ResNet50或101），但Block4中将3*3卷积和捷径分支1*1卷积步长Strid由2改为1，不进行下采样，且将3*3卷积换成膨胀卷积，后面的Block5,6,7是对Blockd的copy。（图中rate不是真正的膨胀系数，真正的膨胀系数=rate * Multi-grid参数）

  论文中使用较多的结构还是还是ASPP模型，两者模型在效果上差距不大。

DeepLabV3+网络

  网络主要分为两个部分，Encoder,Decoder;论文中采用的是Xception作为主干网络（在代码中也可以根据需求替换成MobileNet），然后使用了ASPP结构，解决多尺度问题；为了将底层特征与高层特征融合，挺高分割边界准确度，引入Decoder部分。

   加强特征提取网络说明

  1、在Encoder部分，对压缩四次的初步有效特征层利用ASPP结构特征提取，然后进行合并，再进行1x1卷积压缩特征。如下图

 

2、在Decoder中，我们会对压缩两次的初步有效特征层利用1x1卷积调整通道数，与上面经过ASPP处理的特征进行连接，之后进行两次卷积操作得到最终的特征图。

 

 3、利用得到的最终特征图，进行预测，还需两步操作

        （1）利用一个1x1卷积进行通道调整，调整成类别总数目

        （2）resize，上采样使输出预测图片恢复原图大小。

用V3+代码训练自己的数据集见使用DeepLabv3+教程。