MPVIT:Multi-Path Vision Transformer for Dense Prediction

动机:
深度预测需要多尺度特征表示,在这篇文章中作者关注于如何有效的使用Vision Transformer来表示多尺度特征
如何实现
提出了多尺度块编码和多路径的结构,多尺度块编码通过重叠的卷积操作,将不同大小的块同时进行编码,产生的特征具有相同的序列长度,然后将产生的特征并行的输入到Transformer结构中。最后将产生的并行的粗糙的和精细特征进行融合。
MPVIT:Multi-Path Vision Transformer for Dense Prediction_第1张图片
网络结构介绍:
MPVIT:Multi-Path Vision Transformer for Dense Prediction_第2张图片
1:多尺度patch embedding:
经过MP-Transformer Block后的输出X(2D reshaped output feature map–>如何reshape以及reshape后的样子参考SETR),作为下一层的输入,使用卷积操作(kxk,s,p)将X映射为新的Token,那么新的feature map 大小为:
在这里插入图片描述
我们使用不同的卷积核大小来调整序列的长度,最后输出相同的尺寸,文中使用的为3x3,5x5,7x7。
2:在transformer中使用了factorized self-attention(在CoaT中也使用了)。
MPVIT:Multi-Path Vision Transformer for Dense Prediction_第3张图片
将transformer从单路径扩充到多路径,减少通道数C比减少层数L效果更好,由于在第二层图片的分辨率高,我们只用了两个分支。从图中我们可以知道,层数比维度更重要即网络越深比网络越宽效果更好。
MPVIT:Multi-Path Vision Transformer for Dense Prediction_第4张图片

3:在输入图片后使用了stem block,包括两个3*3卷积层,通道数为C2/2,C2,步长为2。
4:去掉了class token,在最终的特征图使用了全局平均池化。
5:局部到全局特征交互:
为了解决每一个块之间的结构信息和局部关系,引入局部到全局特征交互模块,首先将产生的特征图拼接起来,然后通过1x1卷积来进行特征间的交互,且实验证明concat比sum结果更好。

MPVIT:Multi-Path Vision Transformer for Dense Prediction_第5张图片
实验:
模型的具体配置:
MPVIT:Multi-Path Vision Transformer for Dense Prediction_第6张图片

你可能感兴趣的:(paper总结,transformer,深度学习,人工智能)