阅读笔记-TNT-Transformer in Transformer

来源：CVPR2021
单位：诺亚方舟、软件所

Title

我个人真的挺讨厌各种夸大宣传的，有些工作确实有贡献，但现在的趋势怎么就成了包装和宣传竞赛呢。。。

这篇文章宣传称致敬Network in Network工作，其本质一句话概括就是在ViT的基础上对每一个patch进行了Transformer。

Introduction

在介绍部分的几句结论我觉得值得商榷。

1. CV models purely based on transformer are attractive because they provide an computing paradigm without the image-specific inductive bias.
   纯transfomer框架能够完全避免图像特定的归纳偏置吗？我认为除非你采用全连接，否则不可能，即使ViT开始时将图像划分成不同的patch就是一种图像特定的归纳偏置啊。

2. 在讲一些已存的纯transformer框架的网络时，如ViT时说：

However, these visual transformers ignore the local relation and structure information inside the patch which is important for visual recognition. By projecting the patch into a vector, the spatial structure is corrupted and hard to learn.

在ViT这种方法中确实是将图像划分成了patch，但每个patch在提取该patch的embedding时，本身是考虑有局部信息的，只能说可能表达不够充分，要说空间信息破坏，我认为更严重的其实是每个patch的边缘破坏较大，更好的做法应该是建立相邻patch的边缘之间的关系，或许重叠的patch可以尝试以下。

Approach

TNT， Transformer iN Transformer

TNT的网络结构如上图所示，我们弱国将a图中彩色竖条纹部分忽略，以及将TNTBlock 替换成 Transformer block，显然就是ViT的结构。
那现在彩色竖条纹饰pixel 级的transformer，这是后的TNT Block如b所示，inner T-Block是对内部像素层级的transformer，将其输出变换后与patch的embedding结合送到outer T-Block中即patch层级的transformer。
值得注意的是，在做像素级的transformer时，并不是把每个像素位置的特征作为一个类似query的向量，而是对patch进行了尺度变换，缩小了分辨率，然后从每个位置抽取对应特征用作sequence，本质是对patch又进行了划分（可重叠）区域
另外一点，针对于像素级的transformer，并不是在patch的一层transformer内完成一次像素级的多层(12)层transformer， 而是将patch和pixel的transformer对应，同时传入下一层

位置编码

对于patch而言，每个patch有一个独立的可学习得位置编码，而对于pixel级的序列而言，位置是在patch中相对位置的编码，每个patch的对应位置的pixel的位置编码是相同的，如下图：

pos encoding

复杂度

直观上明显复杂度多出的一部分是pixel层级的transformer的计算，这部分通过控制数据维度和规模，能够保证复杂度提升不是很大。

实验

实验部分最关注的训练设备和时间没说，但估计又是资源咖。。。 224x224的分辨率，batch_size能达到1024，需要多少V100？

training hyper-parameters

分离实验部分分析了不同的inner T-Block中的head数，不同的输入patch分辨率以及位置编码等多种设置。
我们只管看一下视觉中间值的效果。

image.png

作者认为通过对每个patch加上pixel的transformer，能够更好的保留局部信息。这好像只能说更好的细节信息吧，能体现局部信息吗？b图作者将最后一层transformer的384个特征图通过，这里的384是指输出通道数。作者认为TNT的特征分布更加分散，其包含的特征更加丰富。

作者还发现浅层能更好的保留局部信息，（难道这不是显然的吗？），网络越深其表示能力越来越抽象。

作者还进行了其他多个数据集上不同任务的实验，结果表明：

1. 本文方法在分类上能取得和CNN方法相当，甚至更好的实验结果
   2.本文方法相对于ViT和DeiT的参数量更少，但性能甚至更好。

总结

本文的工作是在ViT的基础上关注每一个patch块，对patch块再次进行transformer，在分类任务上获得了相对于ViT更小更好的模型。
个人总认为将图像直接划分成patch太过粗糙，我么是不是可以使用有重叠的划分，或者想采用SS proposal这一类方法提取不同的有意义的包含完整或者大部分信息的区域，使用这些区域表示图像进行transformer？