大模型-DeltaTuning-重参数式：LoRA（Low-Rank Adaptation）

微调大规模语言模型到特殊领域和任务是自然语言处理的重要课题之一。但随着模型规模的不断扩大，微调模型的所有参数（所谓full fine-tuning）的可行性变得越来越低。以GPT-3的175B参数为例，每增加一个新领域就需要完整微调一个新模型，代价和成本很高。

0x1：已有方案的问题

为解决微调大规模语言模型到不同领域和任务的挑战，已有多种方案，比如部分微调、使用adapters和prompting。但这些方法存在如下问题：

• Adapters引入额外的推理延迟 (由于增加了模型层数)
• Prefix-Tuning难于训练，且预留给prompt的序列挤占了下游任务的输入序列空间，影响模型性能

1、Adapter引入推理延迟

显然，使用Adapter增加模型层数会增加推理的时长：

从上图可以看出，对于线上batch size为1，输入比较短的情况，推理延迟的变化比例会更明显。

简单来说，adapter就是固定原有的参数，并添加一些额外参数用于微调。Adapter会在原始的transformer block中添加2个adapter，一个在多头注意力后面，另一个这是FFN后面。显然，adapter会在模型中添加额外的层，这些层会导致大模型在推理时需要更多的GPU通信，而且也会约束模型并行。这些问题都将导致模型推理变慢。

2、很难直接优化Prompt