VIT学习心得

来源：投稿 作者：橡皮
编辑：学姐

小声逼逼

在过去的两年里，Vision Transformer(ViT)是计算机视觉(cv)领域最有影响力的工作之一。「它推翻了2012年在Alex net中提出的CNN在CV领域的统治地位： 当能够获得足够多的预训练数据时，将ViT应用到CV的效果非常好。」 最重要的是，ViT的提出正式打破了CV和NLP之间的壁垒，同时还给CV和多模态的研究工作挖了一个大坑。

再叨叨两句

其实很早之前在群里就听小伙伴们聊过vision transformer，但是因为当时自己所做的工作用到ViT的属实是很少，所以对于主动去了解这个东西就有些嗤之以鼻。

真正开始学，或者说认真开始看原paper结合code去理解vision transformer是由于我在AIR的暑研项目中，mentor提出了个有意思的想法是「基于DETR (detection transformer)思路构造多类别异常检测模型。」

这就使我不得不加班加点的去从头了解vision transformer的结构以及其中的self-attention以及cross-attention机制。借此机会也想跟大家分享一下关于我的学习心得。

心路历程 QVQ

对我个人而言，学习一个新技术或者去follow一项新的工作，我的学习路线通常是：

读原paper知乎一下大家有关这篇工作的讨论重读技术路线对照代码去再次理解技术路线以及着重关注损失函数。（以下参考了沐神讲vit视频下的笔记进行回忆）

首先是阅读原paper

通过标题和摘要可以获得一些信息：an image is worth 16*16 words，即每一张输入transformer的图片都会被打散为若干个16*16的小方格(patches)，这样就可以利用nlp里面典型的transformer结构去做大规模的图像识别。

值得一提的是在ViT之前，我们都知道transformer在nlp领域是基本操作，但是这么好的idea却在cv领域应用十分有限。

原文作者谷歌团队着手解决了这个问题：「attention＋CNN或attention替换CNN components，但是保持CNN的整体结构」。 对于保持结构，是指的ResNet50有4个stage（R2/R3/R4/R5），每个stage不变，直接使用attention取代每一个stage里面的每一个block。作者实验证明attention并不需要非得和CNN一起使用，跟transformer一起用时，在大规模数据集上预训练并在中小数据集做fine-tuning后照样能够取得sota效果。

接下来我跳过related work直接来看到了模型结构，不得不说看了主图基本上就明白很多了。 ViT这篇文章尽可能使用原始transformer，「旨在于享受架构的高效实现。」

输入一张图，将它打成33的patches，然后再将其分别flattened从33变为1*9，经过一个Linear Projection后，将每个patches转变成了patch embedding。由于encoder中需要做self-attention，即所有元素两两之间计算自注意力，这与顺序无关。

但是由于每个patch是来自于图片是有序的，所以作者在patch embedding前面加了position embedding，这样patch embedding + position embedding[CLS]=token（包含了图片的patch信息和每个patch在原图的位置信息）。可以看到，其实真正输入进transformer的就是tokens，这与nlp中的工作是异曲同工的。

另外，文章主图做的分类任务，虽然每个token都会有输出，但是最终还是只拿[CLS]来做分类！这是因为transformer encoder中的self-attention机制使得所有tokens都在做两两的信息交互，那么[CLS]同样也会跟着所有的patches一起做交互，所以[CLS]也是可以学到有用信息的拿来做最终的分类的。继续看上面，「最终分类任务就是把[CLS]单拎出来到通用的MLP head中得到类别判断，这样就可以使用cross-entropy来进行训练了~」

根据代码重新过一遍前向过程

虽然ViT的整体思路在主图上的展示不能够再清晰，但是毕竟最终要拿来改代码做自己的任务嘛，根据代码重新过一遍前向过程是有必要的：图片RGB->Npatchespatches->经过linear projection（E）后：768（patch维度）D（embedding_dim）768->图片$ xE=196798 $至此2D图片转换为1D序列tokens！ 另外别忘了position embedding的存在，所以输入encoder的序列长度是197768~

到这里其实阅读原文和代码就结束了，方法思路和代码的具体实现已经get到了。 我并没有看Related work以及实验部分的效果是因为现在ViT已经是经过各种大佬魔改之后被公认为还不错了。

VIT的坑

诚然ViT这篇文章中也提及到了一些transformer固有的缺陷，比如data-hungry，相比CNN缺少归纳偏置，序列长维度高以及计算复杂度高等。 但正因为有这一系列待解决的问题，留给后面研究的可能性也就越大。所以我认为ViT原文的可读性依然非常的大，它讲解了最基本的原理和insight，但是真正希望把vit应用到自己的工作（其他领域）当中去，还是要看一些经典的ViT拓展工作来获取独到的思路，如DETR等等~

VIT论文＆代码详解

关注下方《学姐带你玩AI》回复“VIT”领取

码字不易，欢迎大家点赞评论收藏！