arXiv 2021《Transformer in Transformer》论文笔记

简介

本文出自华为诺亚方舟，作者是韩凯。
文章链接

动机

本文动机是，在ViT基础上，编码patch内的pixel之间的结构信息。

方法

使用两个transformer，外transformer负责编码大小为$16\times 16$的patch之间的关系，内transformer负责编码大小为$4\times 4$的super-pixel之间的关系。

实验

本文方法的实验结果也很好。