CMT:卷积与Transformers的高效结合

CMT:卷积与Transformers的高效结合_第1张图片

来源:DeepHub IMBA
本文约1400字,建议阅读5分钟本文介绍构建一系列模型cmt,它在准确性和效率方面有更好的权衡。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

论文提出了一种基于卷积和VIT的混合网络,利用Transformers捕获远程依赖关系,利用cnn提取局部信息。构建了一系列模型cmt,它在准确性和效率方面有更好的权衡。

CMT:卷积与Transformers的高效结合_第2张图片


CMT:体系结构

CMT:卷积与Transformers的高效结合_第3张图片

CMT块由一个局部感知单元(LPU)、一个轻量级多头自注意模块(LMHSA)和一个反向残差前馈网络(IRFFN)组成。

1、局部感知单元(LPU)

在以前的transformer中使用的绝对位置编码是为了利用标记的顺序而设计的,它破坏了平移不变性。

为了缓解局限性,LPU使用卷积(MobileNetV1)提取局部信息,其定义为:

424f0dd8615405bcf735b872a38397e2.png

2、轻量级多头自我注意(LMHSA)

在原注意力模块中,自注意力模块为:

7b4441c6f502c843be66b1338fd825da.png

为了减少计算开销,在注意力操作之前,使用k × k步长为k的深度卷积(MobileNetV1)来减小k和V的空间大小。在每个自注意力模块中添加一个相对位置偏差B(类似于Shaw NAACL ' 18):

4aa44e5d7705cf04567e3b26bcb9f642.png

这里的h个是与ViT类似的注意力头。

3、反向残差前馈网络(IRFFN)

原始FFN使用两个线性层,中间是GELU:

a83e48239aa15945582ca7f5f29ad0d1.png

IRFFN由扩展层(MobileNetV1)和卷积(投影层)组成。为了更好的性能,还修改了残差连接的位置:

1d40581348fcc27f397f13113fe473f4.png

使用深度卷积(MobileNetV1)提取局部信息,而额外的计算成本可以忽略不计。

4、CMT块

有了上述三个组成部分,CMT块可以表述为:

2b4f46c5e9b9532e4963450767abf092.png

上式中,Yi和Zi分别表示LPU和LMHSA模块对第i块的输出特征。LN表示层归一化。

CMT变体

1、模型的复杂性

Transformer 的计算复杂度(FLOPs)可计算为:

6f8fe223a02afc1f7890dd51a57b916e.png

式中,r为FFN的展开比,dk和dv分别为key和value的维度。ViT设d = dk = dv, r = 4,则计算可简化为:

f0f113fe5afdb8c39af85e46bb4b2b5a.png

CMT块的FLOPs:

CMT:卷积与Transformers的高效结合_第4张图片

其中k≥1为LMHSA的还原比。

可以看到,与标准Transformer块相比,CMT块对计算成本更友好,并且在更高分辨率(较大n)下更容易处理特征映射。

2、扩展策略

受EfficientNet的启发,使用复合系数φ来均匀缩放层数(深度)、维度和输入分辨率:

4d3a2ddfa76f7e82e522126da08bba3e.png

增加了α·β^(1.5) ·γ²≈2.5的约束,因此对于给定的新φ,总FLOPS将大约增加2.5^ φ。根据测试,默认为α=1.2, β=1.3, γ=1.15。

3、CMT变体

CMT:卷积与Transformers的高效结合_第5张图片

在CMT-S的基础上,根据提出的缩放策略构建了CMT-Ti、CMT-XS和CMT-B。四种模型的输入分辨率分别为160、192、224和256。

结果

1、消融研究

88bdec7bd4d6d200ed55a918a8fdbd8a.png

ViT/DeiT只能生成单尺度的特征图,丢失了大量的多尺度信息,但是这部分信息对密集预测至关重要。

DeiT与CMT-S一样具有4级stage,即DeiT- s - 4stage,可以实现改进。

CMT:卷积与Transformers的高效结合_第6张图片

所有的增量改进都表明,stem、LPU和IRFFN对性能的提高也有重要的贡献。CMT在LMHSA和IRFFN之前使用LN,在卷积层之后插入BN。如果将所有的LN都替换为BN,则模型在训练过程中无法收敛。

e8f34092af1dc44e3703ca997526b232.png

2、ImageNet

CMT:卷积与Transformers的高效结合_第7张图片

CMTS以4.0B FLOPs达到83.5%的top-1精度,比基线模型DeiT-S高3.7%,比CPVT高2.0%,表明CMT块在捕获局部和全局信息方面的优势。

值得注意的是,之前所有基于transformer的模型仍然不如通过彻底的架构搜索获得的EfficientNet,但是CMT-S比EfficientNet- b4高0.6%,计算成本更低,这也证明了所提出的混合结构的有效性。

3、下游任务

CMT:卷积与Transformers的高效结合_第8张图片

对于以RetinaNet为基本框架的目标检测,CMT-S优于twin - pcpvt - s (mAP为1.3%)和twin - svt - s (mAP为2.0%)。

CMT:卷积与Transformers的高效结合_第9张图片

以Mask R-CNN为基本框架的分割,CMT-S以1.7%的AP超过了Twins-PCPVTS,以1.9%的AP超过了Twins-SVT-S。

CMT:卷积与Transformers的高效结合_第10张图片

CMT- s在所有数据集中以更少的FLOPs优于其他基于transformer的模型,并在FLOPs减少9倍的情况下与EfficientNet-B7达到相当的性能,这证明了CMT架构的优越性。

论文地址:

https://openaccess.thecvf.com/content/CVPR2022/papers/Guo_CMT_Convolutional_Neural_Networks_Meet_Vision_Transformers_CVPR_2022_paper.pdf

MORE

编辑:黄继彦

CMT:卷积与Transformers的高效结合_第11张图片

你可能感兴趣的:(CMT:卷积与Transformers的高效结合)