关于VIT（Vision Transformer）的架构记录

在VIT模型设计中，尽可能地紧密遵循原始的Transformer模型（Vaswani等人，2017年）。这种刻意简化的设置的一个优势是，可扩展的NLP Transformer架构及其高效的实现几乎可以即插即用。

图：模型概述。我们将图像分割为固定大小的补丁，线性嵌入每个补丁，添加位置嵌入，并将结果向量序列馈送到标准Transformer编码器中。为了进行分类，我们采用了添加额外可学习的“分类标记”的标准方法。Transformer编码器的插图灵感来自Vaswani等人（2017年）。

原文这段话解释了VIT的架构，我们假设H=W=224,P=16。

那么我们首先将224*224*3的x变成196*768。

然后经过一个线性层，其中D=768(可以变，这是transformer架构的参数），还是196*768。

加一个cls额外token，变成197*768。

然后位置嵌入一下，还是196*768。

得到的嵌入向量作为编码器的输入。

公式是这些，transformer内部的我就不介绍了，可以看attention is all you need 这篇论文。