【ECCV 2022】Visual Prompt Tuning

Visual Prompt Tuning

  • 论文简介:
  • 论文介绍:
  • 具体实现:
    • 基本定义
    • Visual-Prompt Tuning
      • VPT-Shallow
      • VPT-Deep
      • Storing Visual Prompts
  • 实验结果:

论文简介:

目前采用预训练模型的方法包括更新所有的主干参数,即完全微调。本文则介绍了视觉提示调优(VPT)作为一种有效的大型 Transformer 模型的替代方案。VPT 从有效调优大型语言模型的最新进展中获得灵感,在输入空间中只引入了少量(少于模型参数的1%)的可训练参数,同时保持模型主干冻结。对各种下游识别任务的广泛实验表明,与其他参数高效的调优协议相比,VPT获得了显著的性能提高。最重要的是,在许多情况下,VPT在跨模型容量和训练数据规模的情况下甚至优于完全微调,同时降低了每个任务的存储成本。

论文介绍:

本文探索了一条不同的模型迁移路线,即不修改或微调预先训

你可能感兴趣的:(【ECCV 2022】Visual Prompt Tuning)