VIT论文阅读: A Image is Worth 16x16 Words

简介

在2024年,大家都知道了transformer的故事,但是在4年前, CNN和Transformer谁才是CV的未来,还没有那么确定。

在简介部分,作者提到了一个令人失望的事实,在基于imagenet的实验中发现,transformer的表现差于同尺寸的ResNet。作者把原因归结到bias translation equivariance and locality,这些CNN具有,但是transformer不具有的特性上。如下图【1】VIT论文阅读: A Image is Worth 16x16 Words_第1张图片

但是,随后,作者话峰一转,强调,如果基于更大的数据集训练,ViT可以实现更好的效果,甚至超过CNN。这就是transformer的魅力所在,基于更大的数据量,它能展现出更强大的力量。

相关工作

其实自从transformer(2017)出来后,就有各种各样的工作希望利用transformer来替代CNN,比如f Cordonnier et al. (2020) 尝试使用2x2的矩阵进行transformer,而和本文的区别是,vit使用了更大规模的预训练。

此外,当时一种常见的思路就是在CNN处理后,基于attention block进一步处理信息。此外,也有其他工作开始尝试通过生成式的方法进行处理。

方法

模型结构

参考原版transformer,Vit也使用了位置编码,以及对于特征的linear projection这些方式。

微调

作者提到了微调的几个小经验,

首先是建议基于高分辨率的图像,以及大数据进行预训练,然后是通过更换head,以及使用不同分辨率的图像进行下游任务的微调。因为分辨率的调整,在对于位置编码的调整中,我们也需要注意。

实验

这篇论文的实验非常细致,主要在模型大小,数据大小对于模型的性能影响上,进行了充分的分析,之后再说。

【1】https://www.baeldung.com/cs/translation-invariance-equivariance 

你可能感兴趣的:(论文阅读)