论文提出了一种基于卷积和VIT的混合网络，利用Transformers捕获远程依赖关系，利用cnn提取局部信息。构建了一系列模型cmt，它在准确性和效率方面有更好的权衡。
CMT:体系结构
CMT块由一个局部感知单元(LPU)、一个轻量级多头自注意模块(LMHSA)和一个反向残差前馈网络(IRFFN)组成。
1、局部感知单元(LPU)
在以前的transformer中使用的绝对位置编码是为了利用标记的顺序而设计的，它破坏了平移不变性。
为了缓解局限性，LPU使用卷积(MobileNetV1)提取局部信息，其定义为:
2、轻量级多头自我注意(LMHSA)
在原注意力模块中，自注意力模块为:
为了减少计算开销，在注意力操作之前，使用k × k步长为k的深度卷积(MobileNetV1)来减小k和V的空间大小。在每个自注意力模块中添加一个相对位置偏差B(类似于Shaw NAACL ' 18):
这里的h个是与ViT类似的注意力头。
3、反向残差前馈网络(IRFFN)
原始FFN使用两个线性层，中间是GELU:
IRFFN由扩展层(MobileNetV1)和卷积(投影层)组成。为了更好的性能，还修改了残差连接的位置:
使用深度卷积(MobileNetV1)提取局部信息，而额外的计算成本可以忽略不计。
4、CMT块
有了上述三个组成部分，CMT块可以表述为:
上式中，Yi和Zi分别表示LPU和LMHSA模块对第i块的输出特征。LN表示层归一化。
CMT变体
1、模型的复杂性
Transformer 的计算复杂度(FLOPs)可计算为:
式中，r为FFN的展开比，dk和dv分别为key和value的维度。ViT设d = dk = dv, r = 4，则计算可简化为:
CMT块的FLOPs:
其中k≥1为LMHSA的还原比。
可以看到，与标准Transformer块相比，CMT块对计算成本更友好，并且在更高分辨率(较大n)下更容易处理特征映射。
2、扩展策略
受EfficientNet的启发，使用复合系数φ来均匀缩放层数(深度)、维度和输入分辨率:
增加了α·β^(1.5) ·γ²≈2.5的约束，因此对于给定的新φ，总FLOPS将大约增加2.5^ φ。根据测试，默认为α=1.2， β=1.3， γ=1.15。
3、CMT变体
在CMT-S的基础上，根据提出的缩放策略构建了CMT-Ti、CMT-XS和CMT-B。四种模型的输入分辨率分别为160、192、224和256。
结果
1、消融研究
ViT/DeiT只能生成单尺度的特征图，丢失了大量的多尺度信息，但是这部分信息对密集预测至关重要。
DeiT与CMT-S一样具有4级stage，即DeiT- s - 4stage，可以实现改进。
所有的增量改进都表明，stem、LPU和IRFFN对性能的提高也有重要的贡献。CMT在LMHSA和IRFFN之前使用LN，在卷积层之后插入BN。如果将所有的LN都替换为BN，则模型在训练过程中无法收敛。
2、ImageNet
CMTS以4.0B FLOPs达到83.5%的top-1精度，比基线模型DeiT-S高3.7%，比CPVT高2.0%，表明CMT块在捕获局部和全局信息方面的优势。
值得注意的是，之前所有基于transformer的模型仍然不如通过彻底的架构搜索获得的EfficientNet，但是CMT-S比EfficientNet- b4高0.6%，计算成本更低，这也证明了所提出的混合结构的有效性。
3、下游任务
对于以RetinaNet为基本框架的目标检测，CMT-S优于twin - pcpvt - s (mAP为1.3%)和twin - svt - s (mAP为2.0%)。
以Mask R-CNN为基本框架的分割，CMT-S以1.7%的AP超过了Twins-PCPVTS，以1.9%的AP超过了Twins-SVT-S。
CMT- s在所有数据集中以更少的FLOPs优于其他基于transformer的模型，并在FLOPs减少9倍的情况下与EfficientNet-B7达到相当的性能，这证明了CMT架构的优越性。
论文地址：
https://avoid.overfit.cn/post/2da9f18b7b6d4da89b44eb16c861ab88