TinyViT: Fast Pretraining Distillation for Small Vision Transformers

PaperLink: https://arxiv.org/pdf/2207.10666.pdf
code: https://github.com/microsoft/Cream/tree/main/TinyViT

概要

1.基于IN-21K预训练TinyVit时使用快速蒸馏的方法，然后在IN-1K上微调，间接提高小模型对大数据的拟合能力；
2.不同于传统vit-block的设计，提出分层vit-block模块: 特征分辨率随着stage的增加逐步减少

技术名词解释

• Large-scale pretraining：使用大规模数据预训练的基础大模型，在多种下游任务中表现出色，eg: CLIP, Align,Florence.
• Small vision transformers:
• Knowledge distillation：1)DeiT，使用CNN蒸馏Vit(引入可蒸馏的token)；2）在image与patch间使用跳层连接；3）基于 pretraining的蒸馏正在研究中。

技术细节

1. Fast Pretraining Distillation
   提前存储好数据增强+教师模型Florence的预测输出logits(TopK，稀疏的标签),蒸馏时直接load,如下图所示
   

2. Model Architectures
   
   
   指标见下图：
   

分析

• 限制小模型拟合大规模数据的潜在因素是什么？
  IN-21K中含有约10%的困难样本，如：1）标签错误；2）相似的图像是不同的标签（同一幅图像中显著性较强的目标不止1个）,小模型很难拟合困难样本。清除部分困难样本后，小模型精度+；蒸馏（使用软标签）可避免这些困难样本带来的阻碍
• 为什么蒸馏可以解锁/促进小模型拟合大规模数据的能力？
  学生可以直接学习教师的domain知识：训练时，教师将类别间的关系注入到学生中，过滤掉了学生模型的噪音样本
  如图3所示，蒸馏后的TinyViT的Pearson关系更接近教师模型
  

小结

• 使用更强的教师模型+更多的数据，解锁小模型的特征表达力 + 设计具有更高效的尺度下降模块的小模型(兼顾精度与性能)可研究；
• 文中tiny-vit中使用了DW,带bias(使用bias代替pos_emb,无cls_token,含window-size)的att/LeAttention,不知是否便于部署。
• IN-21k的数据说明+处理 戳这里