PVT(Pyramid Vision Transformer)算法整理

整体架构

整个“金字塔”架构分为4个stage，每个stage内的基础结构是相似的，即：

1. Patch Embedding：目的在于将信息分块，降低单张图的图片大小，但会增加数据的深度
2. Transformer Encoder：目的在于计算图片的attention value，由于深度变大了，计算复杂度会变大，所以在这里作者使用了Special Reduction来减小计算复杂度

具体模块

Patch Embedding

Patch Embedding部分与ViT中对与图片的分块操作是一样的，即：

1. 将原图切成总数为$p_i\times p_i$的patches

具体操作：
使用卷积操作，$\mathrm{k}\mathrm{e}\mathrm{r}\mathrm{n}\mathrm{a}\mathrm{l}\_\mathrm{s}\mathrm{i}\mathrm{z}\mathrm{e}=\frac{H}{p_i}，\mathrm{s}\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{d}\mathrm{e}=\frac{H}{p_i}$

2. 将每个patch内的数据拉平，然后进行LayerNorm，此时每个patch内的数据大小为$\frac{H_{i-1}{W}_{i-1}}{p_i^2}\times C_i$

Transformer Encoder

ViT中的Attention计算过程可以用如下公式表示：

$$\begin{gathered} Q=W_{q}x+b_{q}K=W_{k}x+b_{k}V=W_{v}x+b_v \\ \mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(Q,K,V)=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\frac{Q{K}^T}{\sqrt{d_{head}}})V \end{gathered}$$
假设输入($x$)的大小为$HW\times C$，则$Q.\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{p}\mathrm{e}=K.\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{p}\mathrm{e}=V.\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{p}\mathrm{e}=HW\times C^{\prime }$

PVT中的Attention计算过程可以用如下公式表示：

$$\begin{gathered} \mathrm{S}\mathrm{R}\mathrm{A}(Q,K,V)=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}(hea{d}_0,...hea{d}_{N_i})W^o, \\ (hea{d}_j=\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(Q{W}_j^Q,\mathrm{S}\mathrm{R}(K)W_j^K,\mathrm{S}\mathrm{R}(V)W_j^V)) \\ \mathrm{S}\mathrm{R}(x)=\mathrm{N}\mathrm{o}\mathrm{r}\mathrm{m}(\mathrm{R}\mathrm{e}\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{p}\mathrm{e}(x,R^i)W^S) \\ \mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(Q,K,V)=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\frac{Q{K}^T}{\sqrt{d_{head}}})V \end{gathered}$$
假设输入($x$)的大小为$HW\times C$，则$Q.\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{p}\mathrm{e}=HW\times C^{\prime }，K.\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{p}\mathrm{e}=V.\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{p}\mathrm{e}=\frac{HW}{R_i^2}\times C^{\prime }$，可以看出，使用这个方法之后，最终得到的结果的维度不变，但计算Attention的值时，参数的数量减少了很多

代码链接

https://github.com/whai362/PVT