tinyvit

TinyViT: 一种高效的蒸馏方法

目录背景方法大意快速预训练蒸馏(FastPretrainingDistillation,FPD)如何实现快速三个细节深入理解FPD模型架构训练trick预训练参数配置（Imagenet21k-pretraining）finetuning参数配置（Imagenet-1k）消融实验**Q:数据是否越多越好？****Q:logitK的数量是否越多越好？****Q:distillpretrain+fine
莫叶何竹·2023-11-27 13:04

TinyViT: Fast Pretraining Distillation for Small Vision Transformers

PaperLink:https://arxiv.org/pdf/2207.10666.pdfcode:https://github.com/microsoft/Cream/tree/main/TinyViT
Dolly_DL·2023-11-27 13:03

ECCV 2022｜微软提出TinyViT：释放小型视觉Transformer的潜力

本文目录47TinyViT：大
Amusi（CVer）·2023-11-27 13:01

11%的参数就能优于Swin，微软提出快速预训练蒸馏方法TinyViT

为了缓解这一问题，作者提出了TinyViT，这是一种新的微小而高效的小视觉Transformer家族，使用本文提出的快速蒸馏框架在大规模数据集上进行预训练。
FightingCV·2023-11-27 13:30

tinyViT论文笔记

论文：https://arxiv.org/abs/2207.10666GitHub：https://github.com/microsoft/Cream/tree/main/TinyViT摘要在计算机视觉任务中
hello_dear_you·2023-11-27 13:59

ECCV22｜只能11%的参数就能优于Swin，微软提出快速预训练蒸馏方法TinyViT

为了缓解这一问题，作者提出了TinyViT，这是一种新的微小而高效的小视觉Transformer家族，使用本文提出的快速蒸馏框架在大规模数据集上进行预训练。
·2022-08-01 10:53
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他