ESNet:一种用于实时语义分割的高效对称网络

ESNet: An Efficient Symmetric Network forReal-time Semantic Segmentation
南邮-2019
paper: https://paperswithcode.com/paper/esnet-an-efficient-symmetric-network-for-real
ESNet的整体对称架构。 整个网络由四个部分组成：下采样单元，上采样单元，因子化卷积单元及其并行部分。

近年来，使用深度卷积神经网络（DCNN）的语义分割已经取得了很大进展。 但是，大量的卷积层和特征通道导致语义分割成为计算量很大的任务，这对于资源有限的场景来说是不利的。 在本文中，我们设计了一个有效的对称网络，称为（ESNet），以解决这个问题。整个网络具有几乎对称的体系结构，主要由一系列分解卷积单元（FCU）及其并行的部分组成。 一方面，FCU在残余层中采用广泛使用的一维分解卷积。 另一方面，并​​行版本在残差模块的设计中采用变换 - 分裂 - 变换 - 合并策略，其中分裂分支采用不同速率的扩张卷积（Dilated Conv）来扩大感受野。 我们的模型具有近1.6M参数，并且能够在单个GTX1080Ti GPU上执行超过62 FPS。 实验表明，我们的方法在CityScapes数据集上的实时语义分割的速度和准确性权衡方面取得了最新的成果。

• 考虑到在移动平台（例如，无人机，机器人和智能手机）上运行DCNN，设计的网络不仅仅是需要可靠地执行（稳定性），但也需要快速（实时）执行，适用于具有空间和存储器限制（紧凑性）的嵌入式设备，并且由于有限的能量开销（节能）而具有低功耗。考虑到这一点，已经提出了一些初步的研究工作[15,16,17,18]来设计轻量级网络，旨在开发用于实时语义分割的有效架构。然而，这些方法通常侧重于通过积极地减少网络参数来加速参考速度，这极大地损害了分段性能。因此，追求在准确性和效率之间取得良好平衡的最佳表现仍然是实时语义分割任务的开放性研究课题。

在本文中，我们设计了一个名为ESNet的新型轻量级网络，采用几乎对称的编码器 - 解码器架构来解决上述问题。ESNet基于ResNet [2]，它由四个基本组件组成，包括下采样单元，上采样单元，分解转换单元（FCU）及其并行版本。 我们的体系结构的核心元素是并行分解卷积单元（PFCU），其中一种新的变换 - 分裂 - 变换 - 合并策略被用于残留层的设计，接近大而密集的表示能力。

虽然特征映射允许卷积学习促进训练的残差函数，但是多路分解卷积允许卷积层的显着减少。 另一方面，与之前的轻量级网络[8,17,19]相比，抽象特征表示具有固定的滤波器内核大小，FCU采用具有不同内核大小的1D分解卷积，其中感知域适应于捕获具有不同尺度的对象实例。 FCU和PFCU对称堆叠以构建我们的编码器 - 解码器架构，以与输入图像相同的分辨率端到端地产生语义分段输出。 虽然本文的重点是语义分段的任务，但是所提出的FCU和PFCU可以直接转移到利用剩余层的任何现有网络，包括分类和分段架构。

总之，我们的贡献有三方面：

• （1）ESNet的对称架构导致网络复杂性的大幅降​​低，加速了整个推理过程;

• （2）在残差层中使用多分支并行卷积利用网络规模和强大的特征表示，仍然可以在整个网络中进行端到端的训练；

• （3）我们评估了ESNet在CityScapes数据集上的性能[20]，实验结果表明，与最近的主流轻量级网络相比，它在准确性和效率方面实现了最佳可行的权衡。

• Network overview

ESNet具有对称编码器-解码器架构，其中编码器产生下采样特征映射，解码器对特征映射进行上采样以匹配输入分辨率。整个网络由18个卷积层组成，残差模块作为我们的核心元素。编码器和解码器具有几乎相同数量的卷积层，并且使用相似的卷积类型。例如，block 1和block 5都采用FCU，K= 3，而block 2和block 4采用FCU，K= 5。如图1所示，输入估计首先经历下采样单元以形成初始特征图，这些特征图被馈送到随后的剩余层中。下采样使更深的网络能够收集上下文，同时有助于减少计算量。另外，两种类型的残差卷积模块, 称为FCU 和 PFCU。第一个使用分解卷积来提取低级特征，第二个使用多分支扩张卷积来扩大接收字段以捕获高级语义。
不同残差模块的比较。 从左到右分别是（a）非瓶颈[2]，（b）瓶颈[17]，（c）非瓶颈-1D [19]，（d）FCU和（e）PFCU模块。 “DConv”表示扩张卷积，其中r1，r2和r3分别是每个分支分支的扩张率。

FCU Module

PFCU Module