自动驾驶场景实时高精度的城市道路场景语义分割方法

文章地址：
https://arxiv.org/pdf/2003.08736.pdf
网络架构：

近年来，深度卷积神经网络(DCNNs)在语义图像分割方面表现出了优异的性能。然而，由于使用复杂的网络架构，基于DCNN的语义分割方法往往存在计算复杂度高的问题。这极大地限制了在实时处理的真实场景中的应用。本文提出了一种基于实时高性能DCNN的城市街道场景语义分割方法，在准确性和速度之间取得了良好的平衡。首先使用一个具有空洞卷积和注意力机制的轻量级基线网络(LBN-AA)作为基线网络，有效地获取密集的feature map。利用不同规模的池化操作提取丰富而独特的语义信息，开发了空间金字塔池化算法，实现了多尺度的目标检测。同时，设计了具有浅层卷积层的空间细节保护网络(SPN)，生成高分辨率的保留空间细节信息的地形图。最后，利用一种简单实用的特征融合网络(FFN)，分别对语义分支(DASPP)和空间分支(SPN)的深、浅特征进行了有效的融合。实验结果表明，在具有挑战性的Cityscapes和CamVid测试数据集上(仅使用一张NVIDIA TITAN X卡)，该方法在51.0 fps和39.3 fps的推理速度下，分别实现了73.6%和68.0%的mIoU的准确率。实验结果表明，该方法对城市街道场景的语义分割具有较好的实时性。

1、主要贡献

采用了一个轻量级网络，其改进的MobileNetV2具有Atrous convolution和Attention (LBN-AA)，该算法只需较小的内存和少量的参数，可实现快速推理和较好的精度。DASPP利用不同大小的池化操作和每个像素的邻近信息，得到的特征更加丰富。分别采用SPN和FFN来进一步提高算法的精度，同时又不会造成很大的速度损失。SPN能够准确地保留丰富的空间信息，弥补深层空间细节的缺失，而FFN则有效地结合了语义分支(DASPP)和空间分支(SPN)的深、浅特征。

2、相关知识

2D空洞卷积下不同的空洞率：

数据城市景观数据集上具有挑战性的多尺度变化的说明：从图片中可以看出，同一类别的物体(如人或车)在尺度上有很大差异。

空间金字塔池ASPP：利用多个具有不同速率的并行分支来捕获多尺度的上下文。

3、方法

实时高性能语义分割方法由四个主要部分组成：带孔卷积和注意力机制的轻量级基线网络(LBN-AA)、DASPP、细节保留网络(SPN)和特征融合网络(FFN)。如下图所示。
( a )是提出的Atrous Convolution and Attention的轻量级基线网络(LBN-AA)。
( b )是独特的空间金字塔池(DASPP)。
( c )为空间细节保护网络(SPN)。
( d )为特征融合网络(FFN)。

LBN-AA

可以看到在MobileNetV2采用带孔卷积，特征图尺寸最小为1/8，而不会丢失太多信息。

进一步在改进的MobileNetV2中添加了几个卷积注意模块(CAM)来选择信息通道。利用CAM生成的权值来指导网络学习，从而得到加权特征图。这种方法有利于突出重要信息，抑制不相关信息。

具体配置参数如图所示：

CAM：通道注意力机制

CAM首先采用全局平均池化和1×1卷积，再采用批处理归一化和LeakyReLU将输出特征的重要性编码为一个向量。注意，输入通道的数量减少了1×1卷积操作，有效地提高了凸轮的效率。然后，全连通层和Sigmoid函数得到关注向量。最后，根据注意向量对特征图的不同通道进行加权。

由于只采样非零值的位置，接受域覆盖了棋盘格模式的区域，导致一些邻近信息丢失(见上中的灰色网格)。因此，LBN-AA可以通过将这些块的特征图连接起来，生成一个稠密的采样图，其中不同块的相邻信息可以进行互补。

独特的空间金字塔池DASPP：

在并行的带孔卷积分支中，分别采用池大小为3×3、5×5和7×7。三个支路的3×3 带孔卷积运算对应的atrous率分别为12、24和36。将ASPP中原始的1×1卷积分支改为1×1卷积和3×3卷积运算，有效地提高了特征提取的能力。仍然采用图像级池化层来捕获全局上下文信息。如下图所示：

空间细节保护网络(SPN)

使用一个精简版的ResNet-18前两层为SPN(详见下表)。将LBN-AA中的layer1和block2的输出连接起来作为SPN的最终输出。SPN最终输出的feature map是原始输入图像大小的1/4，包含88个通道。虽然SPN得到的feature map分辨率较大，但计算代价较小(因为压缩版ResNet-18只使用了浅卷积层)。

特征融合网络(FFN)

首先将两个分支的特征图沿通道连接起来。然后应用BN操作缩短特征距离，平衡特征尺度。两个特征图相同位置的像素不一定相似，它们可能与该位置上相邻的像素相似。采用size为3×3,arous rate d = 2的带孔卷积来融合特征。该操作能够有效地结合目标像素周围相邻像素的特征信息，而不是仅仅依赖于一个位置。然后用大小为1×1的投影卷积将输出通道的数量减少到语义类别的数量(216个减少到19个-标签的类别个数)。在带孔卷积和投影卷积之间也使用了BN层。最后，利用简单而高效的双线性插值，直接将融合结果上采样到原始输入图像的大小。双线性插值只需要很少的参数，可以达到与转置卷积相似的精度。

在Cityscapes数据及上获取的结果如下图：

对比：

对于每个类的分类正确性比较：

在CmaVid数据集上的比较结果：

总结：

在本文中，提出了一种新的实时高性能语义分割方法，以实现在准确性和速度之间的平衡。该方法由四个主要部分组成:LBN-AA、DASPP、SPN和FFN。LBN-AA利用轻量化网络、卷积、卷积关注模块提取特征，得到密集的特征图。DASPP增加了输入特征的多样性，利用丰富的上下文信息有效地解决了语义分割的多尺度问题。SPN的设计是为了保留丰富的空间信息，弥补细节的缺失。FFN负责融合高级和低级特性。这些组件通过紧密耦合和联合优化来保证语义分割的有效性。在城市景观和CamVid数据集上的定性和定量结果证明了该方法的有效性和效率。该方法中的一些模块不仅可以用于实时语义分割，而且可以用于精确的语义分割。

参考：
https://zhuanlan.zhihu.com/p/161173524
https://arxiv.org/pdf/2003.08736.pdf