MobileViT 网络测试

mobilevit-pytorch/mobilevit.py at master · chinhsuanwu/mobilevit-pytorch · GitHub

MobileFormer 与上面的不太一样:

https://github.com/slwang9353/MobileFormer

实时Transformer类轻量型MobileViT

本文应该是首次将CNN+Transformer的组合做到了端侧实时,而且不局限于分类任务,同时还将检测与分割等纳入考虑范畴,实乃近期为数不多的好文之一。当然,速度比起来CNN来肯定还是要慢一些的。比如:3.5M参数量的MobileNetV2推理速度仅需0.92ms,精度为73.3;而MobileViT的参数量为2.3M,推理速度为7.28ms,精度为74.8。比较遗憾的是,MobileViT尚未开源,无法亲自体验其高性能、高推理速度。

实验结果表明,在不同的任务和数据集上,MobileViT显著优于基于CNN和ViT的网络。

在ImageNet-1k数据集上,MobileViT在大约600万个参数的情况下达到了78.4%的Top-1准确率,对于相同数量的参数&#x

你可能感兴趣的:(深度学习宝典,pytorch,深度学习)