使用单GPU 实现24小时内完成训练vison transformer

Transformers已成为计算机视觉最新进展的核心。然而，从头开始训练ViT模型可能会耗费大量资源和时间。在本文中旨在探索降低ViT模型训练成本的方法。引入了一些算法改进，以便能够在有限的硬件（1 GPU）和时间（24小时）资源下从头开始训练ViT模型。

首先，提出了一种向ViT架构添加局部性的有效方法。其次，开发了一种新的图像大小课程学习策略，该策略允许在训练开始时减少从每个图像中提取的patch的数量。最后，我们通过添加硬件和时间限制，提出了流行的ImageNet1k基准的新变体。根据这一基准评估了本文的贡献，并表明在拟定的训练预算下可以显著提高性能。

代码：https://github.com/BorealisAI/efficient-vit-training

1、简介

最近，Transformer架构已成为大量计算机视觉模型的关键组成部分。然而，训练大型变压器模型通常需要付出巨大的成本。例如，在4个GPU上训练像DeiT-S这样的小型ViT大约需要3天时间。

为了降低成本，作者建议探索以下问题：如何用单个GPU在不到24小时的时间内从零开始训练ViT模型。作者认为，由于多种原因，这一方向的进展可能会对计算机视觉研究和应用的未来产生重大影响。