VIT论文阅读： A Image is Worth 16x16 Words

简介

在2024年，大家都知道了transformer的故事，但是在4年前, CNN和Transformer谁才是CV的未来，还没有那么确定。

在简介部分，作者提到了一个令人失望的事实，在基于imagenet的实验中发现，transformer的表现差于同尺寸的ResNet。作者把原因归结到bias translation equivariance and locality，这些CNN具有，但是transformer不具有的特性上。如下图【1】

但是，随后，作者话峰一转，强调，如果基于更大的数据集训练，ViT可以实现更好的效果，甚至超过CNN。这就是transformer的魅力所在，基于更大的数据量，它能展现出更强大的力量。

相关工作

其实自从transformer（2017）出来后，就有各种各样的工作希望利用transformer来替代CNN，比如f Cordonnier et al. (2020) 尝试使用2x2的矩阵进行transformer，而和本文的区别是，vit使用了更大规模的预训练。

此外，当时一种常见的思路就是在CNN处理后，基于attention block进一步处理信息。此外，也有其他工作开始尝试通过生成式的方法进行处理。

方法

模型结构

参考原版transformer，Vit也使用了位置编码，以及对于特征的linear projection这些方式。

微调

作者提到了微调的几个小经验，

首先是建议基于高分辨率的图像，以及大数据进行预训练，然后是通过更换head，以及使用不同分辨率的图像进行下游任务的微调。因为分辨率的调整，在对于位置编码的调整中，我们也需要注意。

实验

这篇论文的实验非常细致，主要在模型大小，数据大小对于模型的性能影响上，进行了充分的分析，之后再说。

【1】https://www.baeldung.com/cs/translation-invariance-equivariance