深度学习论文: Rethinking Mobile Block for Efficient Attention-based Models及其PyTorch实现

深度学习论文: Rethinking Mobile Block for Efficient Attention-based Models及其PyTorch实现
Rethinking Mobile Block for Efficient Attention-based Models
PDF: https://arxiv.org/pdf/2301.01146.pdf
PyTorch代码: https://github.com/shanglianlm0525/CvPytorch
PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks

1 概述

EMO是高效、轻量级的模型，以在参数、FLOPs和性能之间实现平衡，适用于密集预测任务。文章从倒立残差块(IRB)和Transformer的有效组件的统一角度出发，将基于CNN的IRB扩展到基于注意力的模型，并抽象出一个用于轻量级模型设计的单残留元移动块(MMB)。

EMO为轻量级模型设计提供了一个新的思路，通过将CNN和Transformer的有效组件统一起来，实现了高效的模型性能。大量实验验证了所提出的方法的有效性和优越性。

2 ResNetlike Efficient MOdel (EMO)

2-1 Criteria for General Efficient Model

在为移动应用设计高效的视觉模型时，提出以下四个标准，即，一个高效的模型应尽可能满足：

• ➀Usability 可用性。简单的实现不使用复杂的运算符，并且易于为应用程序进行优化。
• ➁Uniformity 统一性。尽可能少的核心模块以减少模型复杂性并加快部署速度。
• ➂Effectiveness有效性。对于分类和密集预测具有良好的性能。
• ➃Efficiency 效率。参数和计算量较少，但需要在准确性上进行权衡。

2-2 Meta Mobile Block

通过对 MobileNetv2 中的 Inverted Residual Block 以及 Transformer 中的核心 MHSA 和 FFN 模块进行抽象，提出了一种统一的 Meta Mobile (M2) Block 对上述结构进行统一的表示，通过采用参数扩展率 λ 和高效算子 F 来实例化不同的模块。

以图像输入$X（\in R^{C\times H\times W}）$为例，MMB首先使用扩展的$ML{P}_e$来扩展通道维度，输出/输入比例为λ：

然后，中间操作符F进一步增强图像特征，例如恒等操作符、静态卷积、动态MHSA等。考虑到MMB适用于高效的网络设计，我们将F作为高效操作符的概念，表示为：

最后，使用反转的输入/输出比例为λ的收缩$ML{P}_s$来收缩通道维度：

其中，使用残差连接来获得最终的输出$Y=X+X_s（\in R^{C\times H\times W}）$。

2-3 Micro Design: Inverted Residual Mobile Block

基于Meta Mobile Block，设计了一个反向残差移动块 (iRMB)，它吸收了 CNN 架构的效率来建模局部特征和 Transformer 架构动态建模的能力来学习长距离交互。结构如下：
具体实现中，iRMB 中的 F 被建模为级联的 EW-MHSA 和DW-Conv卷积。

2-4 Macro Design of EMO for Dense Prediction

基于上述标准，作者设计了一个由多个 iRMB 模块堆叠而成的类似于 ResNet 的高效模型——EMO，主要体现在以下几个优势：

1）对于整体框架，EMO 仅由 iRMB 组成，没有多样化的模块，这在设计思想上可称得上大道至简；

2）对于特定模块，iRMB 仅由标准卷积和多头自注意力组成，没有其他复杂的运算符。此外，受益于 DW-Conv，iRMB 还可以通过步长适应下采样操作，并且不需要任何位置嵌入来向 MHSA 引入位置偏差；

3）对于网络的变体设置，作者采用逐渐增加的扩展率和通道数，详细配置如下表所示。

3 Experiments