大模型微调大杂烩知识总结

1. 前缀微调（Prefix-Tuning）

前缀微调是一种针对预训练模型的微调方法，通过在模型输入前添加特定任务相关的连续前缀表示，从而引导模型生成适应特定任务的输出。在微调过程中，只更新前缀表示的参数，而预训练模型的参数保持不变。

微调方法：首先，为每个任务设计一个可学习的前缀表示。然后，将这个前缀表示与输入序列进行拼接，输入到预训练模型中。最后，通过优化前缀表示的参数，使得模型能够生成适应特定任务的输出。

优点：前缀微调可以减少对预训练模型参数的修改，降低过拟合风险；同时，由于只更新前缀表示的参数，因此计算资源需求较低。

缺点：可能受到前缀表示长度的限制，无法充分捕捉任务相关的信息；此外，对于不同任务，可能需要设计不同的前缀表示，增加了人工成本。

2. 指令微调（Instruction Tuning）

指令微调是一种针对预训练模型的微调方法，通过在训练数据中添加指令来指导模型完成特定任务。在微调过程中，模型需要学习如何根据指令生成适应特定任务的输出。

微调方法：首先，在训练数据中添加包含任务描述的指令。然后，将这些指令与输入序列进行拼接，输入到预训练模型中。最后，通过优化模型参数，使得模型能够根据指令生成适应特定任务的输出。

优点：指令微调可以提高模型在遵循指令方面的能力，从而提高模型在特定任务上的性能。

缺点：可能需要对训练数据进行修改，增加了数据预处理的工作量；此外，对于不同任务，可能需要设计不同的指令，增加了人工成本。

3. p-tuning

p-tuning是一种针对预训练模型的微调方法，通过在模型输入前添加可学习的连续表示，从而引导模型生成适应特定任务的输出。在微调过程中，只更新这些连续表示的参数，而预训练模型的参数保持不变。

微调方法：首先，为每个任务设计一个可学习的连续表示。然后，将这个连续表示与输入序列进行拼接，输入到预训练模型中。最后，通过优化连续表示的参数，使得模型能够生成适应特定任务的输出。

优点：p-tuning可以减少对预训练模型参数的修改，降低过拟合风险；同时，由于只更新连续表示的参数，因此计算资源需求较低。

缺点：可能受到连续表示长度的限制，无法充分捕捉任务相关的信息；此外，对于不同任务，可能需要设计不同的连续表示，增加了人工成本。

4. p-tuning V2

p-tuning V2是p-tuning的改进版本，通过使用更多的连续表示来引导模型生成适应特定任务的输出。在微调过程中，只更新这些连续表示的参数，而预训练模型的参数保持不变。

微调方法：首先，为每个任务设计多个可学习的连续表示。然后，将这些连续表示与输入序列进行拼接，输入到预训练模型中。最后，通过优化连续表示的参数，使得模型能够生成适应特定任务的输出。

优点：p-tuning V2可以进一步减少对预训练模型参数的修改，降低过拟合风险；同时，由于使用了更多的连续表示，可以更充分地捕捉任务相关的信息。

缺点：可能需要更多的计算资源来更新多个连续表示的参数；此外，对于不同任务，可能需要设计不同的连续表示，增加了人工成本。

5. 参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）

参数高效微调是一种针对预训练模型的微调方法，通过仅更新模型参数的一小部分来实现特定任务的适应。在微调过程中，大部分预训练模型的参数保持不变，只更新与特定任务相关的参数。

微调方法：首先，确定与特定任务相关的模型参数。然后，在微调过程中，只更新这些特定参数，而其他参数保持不变。

优点：参数高效微调可以减少计算资源的需求，降低过拟合风险；同时，由于只更新部分参数，因此可以更快地实现模型微调。

缺点：可能无法充分利用预训练模型的特征表示能力；此外，对于不同任务，可能需要确定不同的特定参数，增加了人工成本。

6. prompt微调

prompt微调是一种针对预训练模型的微调方法，通过设计特定的提示（prompt）来引导模型生成适应特定任务的输出。在微调过程中，模型需要学习如何根据提示生成适应特定任务的输出。

微调方法：首先，为每个任务设计一个特定的提示。然后，将这个提示与输入序列进行拼接，输入到预训练模型中。最后，通过优化模型参数，使得模型能够根据提示生成适应特定任务的输出。

优点：prompt微调可以提高模型在遵循提示方面的能力，从而提高模型在特定任务上的性能。

缺点：可能需要对训练数据进行修改，增加了数据预处理的工作量；

7. 领域模型微调（Domain Adaptation）

领域模型微调是一种针对预训练模型的微调方法，用于适应特定领域的任务。当预训练模型需要在特定领域（如医学、法律等）进行应用时，领域模型微调可以通过在领域特定的数据集上对模型进行微调，以适应该领域的特点。

微调方法：首先，准备一个包含领域特定数据的训练集。然后，在这个训练集上对预训练模型进行微调，更新模型的参数以更好地适应领域特定的语言和任务需求。

优点：领域模型微调可以使模型更好地适应特定领域的语言和任务需求，提高在领域内的性能。

缺点：可能需要大量的领域特定数据进行微调，而且微调后的模型可能只在特定领域有效，泛化能力可能减弱。

8. 适配器微调（Adapter-tuning）

适配器微调是一种参数高效的微调方法，它通过在预训练模型的每个Transformer层中添加小型适配器模块，来引入任务特定的参数。

微调方法：首先，在预训练模型的每个Transformer层中添加一对适配器模块，通常由两个全连接层组成。然后，在微调过程中，只更新这些适配器模块的参数，而预训练模型的原始参数保持不变。

优点：适配器微调不需要更新大量的模型参数，因此计算资源需求较低，训练速度较快。同时，适配器模块可以轻松地添加到预训练模型中，不会影响模型的原始性能。

缺点：适配器微调可能无法达到与全量微调相同的性能水平，因为适配器模块的参数量远小于整个模型。此外，适配器模块可能会引入额外的计算开销。

9. LoRA (Low-Rank Adaptation)

LoRA是一种参数高效的微调方法，它通过引入低秩分解来减少需要更新的参数数量。在LoRA中，预训练模型的注意力矩阵或前馈网络矩阵被分解为两个低秩矩阵的乘积，其中这两个低秩矩阵被视为可学习的任务特定参数。

微调方法：首先，将预训练模型的注意力矩阵或前馈网络矩阵分解为两个低秩矩阵。然后，在微调过程中，只更新这两个低秩矩阵的参数，而预训练模型的原始参数保持不变。

优点：LoRA可以显著减少需要更新的参数数量，从而减少计算资源的需求，并加快训练速度。同时，LoRA可以在不牺牲太多性能的情况下实现参数高效的微调。

缺点：LoRA的性能可能略低于全量微调，尤其是在处理非常复杂的任务时。此外，LoRA需要对预训练模型进行一定的修改，以实现矩阵的分解和参数的更新。

10. 全量微调（Full Fine-Tuning）

全量微调是一种传统的微调方法，它涉及更新预训练模型的所有参数以适应特定任务。

微调方法：首先，准备一个包含任务特定数据的训练集。然后，在这个训练集上对预训练模型的参数进行更新，包括Transformer层的权重和输出层的权重。

优点：全量微调通常能够达到最佳的性能，因为它允许模型完全适应特定任务的数据分布。

缺点：全量微调需要大量的计算资源，尤其是在处理大型预训练模型时。此外，全量微调可能会导致过拟合，尤其是在训练数据有限的情况下。