CVPR/ICML 2023 ViT最新论文解析（附下载）

相较于CNN（卷积神经网络），视觉transformer（ViT）具有更出色的建模能力，在imagenet等基准上也取得的了更优秀的性能，这可能也是为什么近年来ViT越发热门的原因。

而且最近ViT的新进展真的不少，我这段时间逛论文的时候也研读了一些，今天就简单总结了几篇个人认为很不错的文章，和大家分享分享。

1.CF-ViT: A General Coarse-to-Fine Method for Vision Transformer

论文标题：CF-ViT：一种通用的粗细粒度视觉Transformer方法

发表于AAAI-2023

论文链接：https://arxiv.org/abs/2203.03821

视觉Transformer(ViT)在计算机视觉任务中取得了许多突破，但是输入图像的空间维度存在大量冗余，导致巨大的计算成本。因此，本文提出了一种粗细粒度视觉Transformer(CF-ViT)来减轻计算负担而保持性能。

CF-ViT以两阶段方式实现网络推理。在粗略推理阶段，输入图像被分割为短令牌序列进行计算经济的分类。如果不能很好识别，则识别信息丰富的patch，并进一步细分为细粒度。

通过粗细粒度的patch分割和多阶段推理，CF-ViT实现了视觉Transformer的轻量化，在不影响Top-1 准确率的情况下，CF-ViT在ImageNet上将LV-ViT-S的FLOPs降低53%， GPU上实测推理速度也加快了2倍，这为其在更大规模数据集和模型上应用提供了可能。

2.Scaling Vision Transformers to 22 Billion Parameters

论文标题：将视觉Transformer扩展到220亿参数

论文链接：https://arxiv.org/abs/2302.05442

作者提出了一种能够高效且稳定训练大规模Vision Transformers(ViT)模型的方法，异步并行线性操作，成功将ViT的参数量提升到220亿。

在下游任务（通常使用冻结特征上的轻量化线性模型）上评估，本文提出的ViT-22B与规模呈递增性能，证明大规模视觉Transformer的效果和潜力。

3.FQ-ViT: Post-Training Quantization for Fully Quantized Vision Transformer

论文标题：FQ-ViT：全量化视觉Transformer的后训练量化方法

论文链接：https://arxiv.org/pdf/2111.13824

作者提出了Power-of-Two Factor（PTF），一种简单而有效的后训练方法，可以在只有一个分层量化尺度的情况下对LayerNorm输入实现精确量化，减少全量化视觉Transformer的性能下降和推理复杂性。

另外，作者也提出了Log-Int-Softmax(LIS)来维持注意力图中的极端非均匀分布，并通过使用4位量化和BitShift运算符简化推理。

两种方法在保持高精度的同时大幅降低计算复杂度，成功实现视觉Transformer的全量化，为其在资源受限环境下的实际应用提供了可能。

4.Top-Down Visual Attention from Analysis by Synthesis

论文标题：从分析合成的角度看自上而下的视觉注意力

发表于CVPR 2023

论文链接：https://arxiv.org/pdf/2303.13043

本文为CVPR 2023 高分论文

作者提出了一个拥有top-down attention能力的AbSViT，这是一种通过自上而下的调制调整ViT模型的变分近似AbS，可以实现可控的自上而下注意力，可以用作一般的骨干，改进分类、语义分割和模型鲁棒性的性能。

AbSViT也可以作为一个general backbone，用来提升image classification，semantic segmentation，以及model robustness的性能。不仅在视觉语言理解等任务中表现出色，也是一般的强大工具。

5.RIFormer: Keep Your Vision Backbone Effective But Removing Token Mixer

论文标题：RIFormer:保留视觉骨干网络的效果但去除令牌混合器

发表于CVPR 2023

论文链接：https://arxiv.org/pdf/2304.05659

作者基于重参数机制提出了RepIdentityFormer方案以研究无Token Mixer的架构体系。然后作者探索改进的学习范式来突破简单令牌混合器免费骨干的限制，并总结了5个经验实践指南。广泛的实验和相关分析也证明，网络体系结构的归纳偏见可以通过适当的优化策略融入简单的网络结构。

该工作可以作为网络设计优化驱动型高效率的探索起点，为后续优化驱动的高效网络设计提供了新的思路。

6.A Closer Look at Self-Supervised Lightweight Vision Transformers

论文标题：深入探索无监督的轻量级视觉Transformer

发表于ICML 2023

论文链接：https://arxiv.org/pdf/2205.14443

作者开发和基准测试了几种无监督预训练方法，用于图像分类任务和一些下游的密集预测任务，发现对于轻量级 ViT来说，当下游任务的数据比较充足时，基于 Masked-Image-Modeling（MIM）的自监督预训练方法表现最好，当下游任务的数据规模比较小时，基于 MAE 的预训练轻量级 ViT的迁移效果就很差。

最后，作者基于上述分析，开发了预训练期间的蒸馏策略，进一步提高了基于MAE的预训练的下游性能。

7.EfficientViT: Memory Efficient Vision Transformer with Cascaded Group Attention

论文标题：EfficientViT:带级联组注意力的内存高效视觉Transformer 

发表于CVPR 2023

论文链接：https://arxiv.org/abs/2305.07027

作者从三个维度分析了ViT的速度瓶颈，包括多头自注意力（MHSA）导致的大量访存时间，注意力头之间的计算冗余，以及低效的模型参数分配，进而提出了一个高效ViT模型EfficientViT。

现有Transformer模型的速度通常受内存低效操作的限制，特别是MHSA中的张量重塑和逐元素函数。因此，作者设计了一个新建块，采用高效的FFN层之间的单个内存受限MHSA，这不仅提高了内存效率，还加强了通道通信。

另外，作者发现注意力图在头之间共享高度相似性，导致计算冗余。为解决此问题，作者提出了级联组注意力模块，使用完整特征的不同拆分为注意力头提供注意力，这不仅节省计算成本，还提高了注意力多样性。

关注下方《学姐带你玩AI》

回复“vit”获取全部论文PDF+代码课件

码字不易，欢迎大家点赞评论收藏！