RTSeg: Real-time Semantic Segmentation Comparative Study

1. Introduction

  大多数的语义细分研究都是为了提高细分模型的准确性，而忽略了计算效率的解决方案。在这个方向上进行的少数工作没有提供有原则的方法来评估不同的分割设计选择。本文提出了一种基于解耦设计的基于特征提取和解码的实时语义分割基准框架.
  在本文中，我们提出了第一个在分割中对实时架构进行基准测试的框架。我们的主要贡献是:(1)我们提供了一种模块化的分割体系结构解耦，将其转化为特征提取和解码方法，称为元体系结构，如图1所示。这种分离有助于理解网络不同部分对实时性能的影响。(2)对精确与计算效率之间的权衡进行了详细的研究。(3)我们框架的模块化设计使得出现了两种新的分割架构，分别使用MobileNet和ShuffleNet，使用多种解码方法。

2. Benchmark Framework

2.1 Meta-Architectures

• SkipNet meta-architecture
• U-Net meta-architecture
• Dilation Frontend meta-architecture

  下采样因子一样都是32，这就保证了不同的元体系结构都有一个统一的下采样因子来评估解码方法的效果。

• SkipNet
    跳过架构的主要思想是从更高分辨率的特征映射中受益，以改善输出分割。 SkipNet在标签空间的热图上应用转置卷积，而不是在特征空间上执行转置卷积。 这需要比其他计算机更高效的解码方法。 特征提取网络具有相同的下采样因子32，因此它们遵循跳跃体系结构的8步版本。 更高分辨率的特征图之后是1x1卷积，从特征空间映射到标签空间，从而产生与每个类别对应的热图。 下采样系数为32的最终热图之后是步长为2的转置卷积.执行此上采样热图与高分辨率热图之间的元素相加。 最后，最终的输出热图随后是用步长8上采样的转置卷积。
• U-Net
    U-Net体系结构表示用对应于每个下采样阶段的转置卷积来解码的方法。向上采样的特征与相同分辨率的编码器对应的特征映射相融合。分段上采样比一次8倍上采样提供更高的准确度。目前在框架中使用的融合方法是元素相加。连接作为一种融合方法可以提供更好的精度，因为它使网络能够学习特征的加权融合。但是，它增加了计算成本，因为它直接受到通道数量的影响。然后，对上采样的特征进行1x1卷积，输出最终的像素级分类。图中显示了使用MobileNet作为特征提取网络的UNet体系结构。

• Dilation Frontend
    扩张前向结构利用扩张卷积而不是对特征图进行下采样。扩张的卷积使网络保持足够的充分性感受视野，但没有削弱从池或跨越卷积的分辨率。然而，这种方法的副作用是计算成本增加，因为操作是在更大的分辨率特征图上执行的。编码器网络被修改为包含8而不是32的下采样系数。降采样的减少是通过移除池层或将stride 2卷积转换为stride 1来实现的。然后将池化或横切卷积分别替换为扩张性因子2和4的两种扩张性卷积。

2.2. Feature Extraction Architectures

• MobileNet
    MobileNet网络架构是基于深度可分离的卷积。它被认为是inception模块的极端情况，在这种情况下，对每个通道应用单独的空间卷积表示为深度卷积。然后与所有通道进行1x1卷积，合并表示为点卷积的输出。深度卷积和点卷积的分离一方面提高了计算效率。另一方面，它提高了交叉通道和空间关联映射分别学习的准确性。
• ShuffleNet
    ShuffleNet编码器是基于分组卷积的，是深度可分卷积的推广。它使用通道变换来确保输入和输出通道之间的连接。这消除了分组卷积所构成的连接限制。

3. Expermental

3.1. Experimental Setup

• Adam optimizer:lr=1e-4
• L2 regularization,weight decay rate 5e-4
• 避免过拟合，类权重W_class=1/(ln(c+p_class))

4.Conclusion

  我们提出了对实时分割网络进行基准测试的第一个原则方法。该框架的解耦设计分离了模块，以便进行更好的定量比较。第一个模块由特征提取网络体系结构组成，第二个模块是提供解码方法的元体系结构。在我们的框架中包含了三种不同的元架构，包括Skip架构、UNet和扩张性前端。包含了用于特征提取的不同网络架构，分别是ShuffleNet、MobileNet、VGG16和ResNet-18。我们的基准测试框架为研究人员和实践者提供了评估他们的任务的设计选择的方法。