华为联合北大、悉尼大学对 Visual Transformer 的最新综述

Transformer 技术最开始起源于自然语言处理领域,但今年5月份Facebook 的一篇文章将其应用于计算机视觉中的目标检测(DETR算法,目前已有78次引用)使其大放异彩,并迅速得到CV研究社区的关注。

已有研究表明,Transformer 在计算机视觉领域不仅适用于高级任务如图像分类、目标检测、车道线检测等,在低级任务如图像增强中也取得了突破性进展,毫无疑问,Transformer 是目前计算机视觉领域最值得关注的方向之一。

一时间,在各种视觉任务 + Transformer 的论文正如雨后春笋般涌出。

今天,来自华为诺亚方舟实验室、北京大学、悉尼大学的学者公布论文 A survey on Visual Transformer,对该领域进行了较为系统的文献总结,相信对于想要研究、使用Visual Transformer 技术肯定会有帮助。

该文作者信息:

Transformer 技术发展的里程碑事件:

Transformer 的重要事件

下表列出了 Visual Transformer 代表作品:

Transformer 已经进入的视觉方向:图像分类、目标检测、分割、图像增强、图像生成、视频修补、视频描述等,为解决Transformer 计算效率问题,业界也有多篇论文提出了新的改进。以推进 Transformer 在CV工业界的尽快落地。

Transformer 是什么?

Transformer 的提出最开始用于机器翻译,下图展示了原汁原味 Transformer 的结构:

用于早期自然语言处理任务的 Transformer 架构图

这里输入是一种语言的句子,每个单词变换为512维的向量嵌入,Transformer 时对其进行多次的编码和解码,编码模块中每一个编码器Encoder把上一阶段的结果进行编码,最后一个编码器将数据经过多个解码器Decoder 进行解码,解码器之间也进行串联,最后一个解码器输出另一种语言的句子。

每一个编码器Encoder内含有自注意力(self-attention layer)层和一个前馈神经网络(feed-forward neural network)模块。每一个解码器含有自注意力(self-attention layer)层、编码器-解码器注意力层和一个前馈神经网络(feed-forward neural network)模块。

Transformer 的详细结构图

基于Transformer的语言模型获得了成功应用:

基于Transformer构建的代表性语言模型列表

Vision Transformer(ViT,出自谷歌论文 An image is worth 16x16 words: Transformers for image recognition at scale)示意图:

Vision Transformer 框架

IPT的架构图

分类任务上,在 JFT300M 数据集上预训练的 Vision Transformer 在多个图像识别基准上接近或优于 SOTA,在 ImageNet 上达到 88.36% 的准确率,在 CIFAR-10上达到 99.50%,在 CIFAR-100 上达到 94.55%,在 VTAB 套件的 19个任务上达到 77.16%。


iGPT 、 ViT 、BiT-L的详细结果如下表:

Transformer 用于目标检测突破性算法DETR(出自Facebook 论文 End-to-end object detection with transformers)流程图:

DETR 的整体架构

为使得Visual transformer 模型参数量和计算量更小,使其更具实用性,业界提出了不少算法。

下表列举了基于 transformer 的模型压缩代表作:

作者指出了一些未来的研究方向:

开发更适合视觉任务的transformer 模型;

自然语言处理中的transformer往往一个模型可以在多个任务中有效,CV领域中也值得探索;

研究更加计算高效的transformer。

全文参考156篇文献,欢迎下载查看详情。

https://arxiv.org/abs/2012.12556

点击阅读原文亦可直达。

或者在我爱计算机视觉公众号后台回复“transformer”,即可收到下载地址。

备注:Transformer 

Transformer 技术交流群

扫码备注拉你入群。

我爱计算机视觉

微信号:aicvml

QQ群:805388940

微博知乎:@我爱计算机视觉

投稿:[email protected]

网站:www.52cv.net

在看,让更多人看到  

你可能感兴趣的:(计算机视觉,人工智能,机器学习,深度学习,自然语言处理)