论文笔记【3】-- LeViT: a Vision Transformer in ConvNet’s Clothing for Faster Inference
论文笔记【3】--LeViT:aVisionTransformerinConvNet’sClothingforFasterInference前序前有ViT,后有Deit,再有LeViT。ViT首次将纯transformer从NLP领域引入CV领域。DeiT嫌弃ViT精度不够高,需要超大数据集才能训好,故从训练策略方向对ViT下手。DeiT给出了两种虐ViT的方法不改变ViT的架构,仅仅是炼出了一组