视觉Transformer综述

  前几日，华为诺亚，北京大学，悉尼大学共同发表了论文《A Survey on Visual Transformer》，本文针对其重点内容进行翻译概括如下。文末附论文原文和本文完整版下载方式。

 

导言：

    Transformer是一种主要基于自注意力机制的深度神经网络，最初是在自然语言处理领域中应用的。受到Transformer强大的表示能力的启发，研究人员提议将Transformer扩展到计算机视觉任务。与其他网络类型（例如卷积网络和循环网络）相比，基于Transformer的模型在各种视觉基准上显示出竞争性的甚至更好的性能。

    在本文中，我们通过将这些Visual Transformer模型按不同的任务分类，并分析了这些方法的优缺点，提供了文献综述。主要类别包括基本图像分类，high-level vision，low-level vision和视频处理。由于self-attention是Transformer的基本组成部分，因此也简要回顾了计算机视觉中的自注意力。包括将Transformer推向实际应用的有效Transformer方法。最后，我们讨论了Visual Transformer的进一步研究方向。

 

1. 总体概述

    卷积神经网络（CNN）引入了卷积层和池化层以处理图像等位移不变性的数据。递归神经网络（RNN）利用循环单元来处理顺序数据或时间序列数据。Transformer是一种新提出的神经网络，主要利用自我注意机制提取内在特征。在这些网络中，Transformer是最近发明的神经网络(2017年)，对于广泛的人工智能应用具有巨大的潜力。

    Transformer最初应用于自然语言处理（NLP）任务，并带来了显着的改进。