深度学习论文精读[13]：Deeplab v3+

Deeplab v3+是Deeplab系列最后一个网络结构，也是基于空洞卷积和多尺度系列模型的集大成者。相较于Deeplab v3，v3+版本参考了UNet系列网络，对基于空洞卷积的Deeplab网络引入了编解码结构，一定程度上来讲，Deeplab v3+是编解码和多尺度这两大系列网络的一个大融合，在很长一段时间内代表了自然图像语义分割的SOTA水平的分割模型。提出Deeplab v3+的论文为Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation，至今仍然是最常用的一个语义分割网络模型。

对于语义分割问题，尽管各种网络模型很多，但Deeplab v3+的作者们认为迄今为止仅有两大主流设计：一个是以UNet为代表的编解码结构，另一个就是以Deeplab为代表的ASPP和多尺度设计，前者以获取图像中目标对象细致的图像边界见长，后者则更擅长捕捉图像中丰富的上下文多尺度信息。鉴于此，Deeplab v3+将编解码结构引入到v3网络中，Deeplab v3直接作为编码器，然后再加入解码器设计，这样就构成了一个SPP（空间金字塔池化）+Atrous Conv（空洞卷积）+Encoder-Decoder（编解码）包含众多丰富元素的组合结构。这三种结构如下图所示。

完整的Deeplab v3+网络结构如下图所示。可以看到，输入图像先进入有深度空洞卷积构成的编码器部分中，由并行的ASPP模块构建并且融入图像级的池化特征，然后再进行合并并通过1*1卷积降低通道数后得到编码器的输出，编码器部分没有做特别的改动，直接使用了Deeplab v3的结构作为编码器，旨在提取图像的多尺度上下文信息。解码器部分则是做了一些特别的设计，编码器输出先经过4倍双线性插值上采样，同时也从编码器部分链接浅层的图像特征到解码器部分，并经1*1卷积降维后与4倍上采样的输出进行拼接，最后经过一个3*3卷积后再经过一次4倍上采样后得到最终的分割输出结果。

另外，Deeplab v3+除了延用之前的ResNet系列作为backbone之外，也尝试了以轻量级著称的Xception网络，具体做法就是将深度可分离卷积（Depth separable convolution）引入到空洞卷积中，能够极大的减少计算量，虽然有一定的精度损失，但在追求速度性能上不失为一种非常好的选择。下面简单介绍一下深度可分离卷积。

从维度的角度看，卷积核可以看成是一个空间维（宽和高）和通道维的组合，而卷积操作则可以视为空间相关性和通道相关性的联合映射。从Inception的1*1卷积来看，卷积中的空间相关性和通道相关性是可以解耦的，将它们分开进行映射，可能会达到更好的效果。

深度可分离卷积是在1*1卷积基础上的一种创新。主要包括两个部分：深度卷积和1*1卷积。深度卷积的目的在于对输入的每一个通道都单独使用一个卷积核对其进行卷积，也就是通道分离后再组合。1*1卷积的目的则在于加强深度。下面以一个例子来看一下深度可分离卷积：假设我们用128个3*3*3的滤波器对一个7*7*3的输入进行卷积，可得到5*5*128的输出，其计算量为5*5*128*3*3*3=86400，如下图所示。

然后我们看如何使用深度可分离卷积来实现同样的结果。深度可分离卷积的第一步是深度卷积。这里的深度卷积，就是分别用3个3*3*1的滤波器对输入的3个通道分别做卷积，也就是说要做3次卷积，每次卷积都有一个5*5*1的输出，组合在一起便是5*5*3的输出。现在为了拓展深度达到128，我们需要执行深度可分离卷积的第二步：1*1卷积。现在我们用128个1*1*3的滤波器对5*5*3进行卷积，就可以得到5*5*128的输出。完整过程如下图所示。

看一下深度可分离卷积的计算量如何。第一步深度卷积的计算量：5*5*1*3*3*1*3=675。第二步11卷积的计算量：5*5*128*1*1*3=9600，合计计算量为10275次。可见，相同的卷积计算输出，深度可分离卷积要比常规卷积节省12倍的计算成本。典型的应用深度可分离卷积的网络模型包括Xception和MobileNet等。本质上而言，Xception就是应用了深度可分离卷积的Inception网络。

Deeplab v3+在PASCAL VOC和Cityscapes等公开数据集上均取得了SOTA的结果，即使在深度学习语义分割发展日新月异发展的今天，Deeplab v3+仍然不失为一个非常好的语义分割解决方案。

关于Deeplab系列各版本的技术要点总结如下表所示。

往期精彩：

 深度学习论文精读[12]：Deeplab v3

 深度学习论文精读[11]：Deeplab v2

 深度学习论文精读[10]：Deeplab v1

 深度学习论文精读[9]：PSPNet

 深度学习论文精读[8]：ParseNet

 深度学习论文精读[7]：nnUNet

 深度学习论文精读[6]：UNet++

 深度学习论文精读[5]：Attention UNet

 深度学习论文精读[4]：RefineNet

 深度学习论文精读[3]：SegNet

 深度学习论文精读[2]：UNet网络

 深度学习论文精读[1]：FCN全卷积网络