deit模型的简单复现

一、模型介绍

deit模型研究提出了一种用于视觉任务的 transformer in transformer（TNT）网络结构。TNT 将图像均匀分割为图像块序列，并将每个图像块视为像素序列。本文还提出了一种 TNT block，其中外 transformer block 用于处理 patch embedding，内 transformer block 用于建模像素嵌入之间的关系。在线性层投影后，将像素嵌入信息加入到图像块嵌入向量中。通过堆叠 TNT block，构建全新 TNT 架构。与传统的视觉 transformer（ViT）相比，TNT 能更好地保存和建模局部信息，用于视觉识别。在 ImageNet 和下游任务上的大量实验都证明了所提出的 TNT 架构的优越性。

接下来我们一起看看如何快速进行论文复现吧！

二、创建实例

首先打开极链AI云的官网，选择模型创建实例：

模型列表 - 极链AI云平台

由于平台已经配置了deit的模型库，所以能够一键创建实例，轻松又便捷～

三、论文复现

1、在/root/deit/路径下，输入训练代码：

2、训练效果如下

到这里，我们就已经完成了deit的整个复现成果～具体的模型简介和代码可以在模型详情页查看

为了使复现更加方便高效，我们为每一个模型都配置了专属的模型详情页。

模型详情页详细展现了模型的使用方法（包含训练和推理的使用方式和测试案例）在证明模型配置的完整性和方便用户直接测试模型效果上，为用户进一步开发和训练模型提供便利。

极链AI云平台现在更新了大量模型和数据库！省去了繁琐冗长的上传时间，让论文复现一步到位！快去官网试试吧～