EfficientFormer 提升速度的同时保持性能,使 ViT 在移动端成为可能

出品人:Towhee 技术团队 顾梦佳

由于大量的参数和其模型设计(注意力机制),基于 ViT 的模型通常比轻量级卷积网络慢几倍。因此,为实时应用程序部署 ViT 特别具有挑战性,尤其是在资源受限的硬件(如移动设备)上。为了让 transformers 同时拥有高性能和速度,EfficientFormer 重新审视了 ViT 模型中使用的网络架构和运算符,引入一个维度一致的纯 Transformer 作为设计范例。 大量实验表明 EfficientFormer 系列模型在移动设备上的性能和速度方面具有优越性。其中最快的模型 EfficientFormer-L1 在公开的图像数据集 ImageNet-1K 上实现了 79.2% 的 top-1 精度,在 iPhone 12 上的运行速度与 MobileNetV2×1.4 一样快。而最大的模型 EfficientFormer-L7 也能够以 7.0 毫秒的延迟获得 83.3% 的准确率。EfficientFormer 证明正确设计的变压器可以使模型在保持高性能的同时,在移动设备上达到极低的延迟。

图片

Overview of EfficientFormer 基于延迟分析,EfficientFormer 的模型设计完全基于 Transformers。该网络首先用一个卷积骨干用作 patch embedding,然后包含了一组 MetaBlock (MB)。其中 MB4D 和 MB3D 拥有不同的 token mixer 配置,即以维度一致的方式排列的局部池化或全局多头自注意力。

相关资料:

代码地址:https://github.com/snap-resea...
论文链接:EfficientFormer: Vision Transformers at MobileNet Speed
更多资料:EfficientFormer:MobileNet 速度下的视觉Transformer

你可能感兴趣的:(图像处理)