【阅读笔记】HOW DO VISION TRANSFORMERS WORK?

原论文地址：https://arxiv.org/abs/2202.06709

目录

Abstract

1.Introduction

1.1 Realted Work

1.2 Contribution

2.Key Points

3.AlterNet

 ​

Abstract

论文围绕三点展开：

1.MSA通过平缓神经网络的loss landscape提升准确度和泛化能力，这种能力来自于data specificity而不是long-range dependency(联系两个较远pixel的关系)。

2.MSA是低通滤波器，Conv是高通滤波器，它们功能互补。

3.提出AlterNet，用MSA块代替一个stage结束时的conv块。

1.Introduction

        广泛的观点认为MSA的成功来自于弱归纳偏置(weak inductive bias)和长期依赖的捕捉(long-range dependency)，由于其over-flexibility特性，导致ViT在训练数据上过拟合。作者对此提出了反对意见。

1.1 Realted Work

        从CNN的角度看，MSA是一种特殊的卷积变换，它作用于所有的feature map points，具有large-sized和data-specific的特点。

        weak inductive bias真的对MSA的预测能力有所提升吗？作者认为适当的约束实际上可能有助于模型学习强表示，并举了local MSA成功的例子。

        MSA的三点特性：①MSA相较CNN提升了预测性能。②ViT对高频噪声的鲁棒性强。③模型尾部的MSA块显著提高了预测性能。

        提出问题：①MSA的哪些特性可以用来优化神经网络，MSA的long-range dependencies真的对模型有帮助吗。②MSA和Conv的表现差异。③如何协调MSA和Conv。

1.2 Contribution

        三个要点：①MSA是空间平滑的，公式(1)是一个合适的归纳偏置。由于局部MSA优于全局MSA，MSA的一个关键特性是它们的数据特异性。②MSA减少高频信号，而Convs则相反，放大高频成分，它们功能互补。③提出AlterNet，一种MSA和conv混合的模型。

     (1)

2.Key Points

        inductive bias越强，表征能力越强。ViT不会过度拟合小型训练数据集；MSA让神经网络的损失变得平缓进而提升了表现；ViT的非凸损失导致性能不佳。MSAs的一个关键特性是data specificity而不是long-range dependency，long-range dependency 阻碍了神经网络的优化。

        MSA是低通滤波器，而Conv是高通滤波器；MSA聚合feature map，Conv与之相反。

        stage尾端的MSA有助于提升性能。

3.AlterNet

 

 如图是基于ResNet50的AlterNet的网络结构，白色块代表Conv块，灰色块代表MSA块，蓝色块代表下采样块，相较于ResNet，作者将每一个stage尾端的Conv模块替换成了MSA块。

感谢指正！