PVT(Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions)

1. 网络框图

1.输入一张 $H\times W\times 3$的图片，经过一个PatchEmbeeding将其分割成$\frac{HW}{4^2}$ patches,每一个Patch大小是$4\times 4\times 3$,经过一个Linear Projection 得到embeeding patches ：$\frac{H\times W}{4^2}\times C_1$,之后通过一个有$L_1$层的encoder， 输出的特征被reshape为3D特征$F1$ （ $\frac{H}{4}\times \frac{W}{4}\times C_1$ ).

将$F_1$作为下一阶段的输入，重新对其进行patch划分，此时采用patch_size=2 ,也就是采用这种对feature map多次划分patch的方法，层层降低了分辨率，以此类推可以得到不同分辨率的$F_2,F_3,F_4$

由于使用了$4\times 4$ 大小的patch，计算transformer所需的资源巨大， 因此必须想办法减少计算代价。作者这里主要使用一种SRA的方法，将计算attention需要的输入 K，V通过一个线性投影，减少计算维度。

$R_i$ 代表缩减率，reshape操作就是将输入$x\in {\mathbb{R}}^{H_i{W}_i\times C_i}$,通过线性投影$W_s\in {\mathbb{R}}^{(R_i^2{C}_i)\times C_i}$,变为$\frac{H_i{W}_i}{R_i^2}\times (R_i^2{C}_i)$,Norm代表layer Norm。

attention的计算还是以前的公式。通过这些公式，可以计算出 Attention(·) 操作的计算/内存成本比 MHA 低 $R^2$ 倍，因此它可以在资源有限的情况下处理更大的输入特征图/序列。

论文所说，主要消耗资源的地方在stage 3