Instruction Tuning for Large Language Models: A Survey

本文是LLM系列文章，针对《Instruction Tuning for Large Language Models: A Survey》的翻译。

摘要

本文综述了快速发展的指令调整（IT）领域的研究工作，这是提高大型语言模型（LLM）能力和可控性的关键技术。指令调整是指以监督的方式在由（Instruction，OUTPUT）对组成的数据集上进一步训练LLM的过程，它弥合了LLM的下一个单词预测目标和用户让LLM遵守人类指令的目标之间的差距。在这项工作中，我们对文献进行了系统的回顾，包括指令调整的一般方法、指令调整数据集的构建、指令调整模型的训练以及对不同模式、领域和应用的应用，以及对影响指令调整结果的方面的分析（例如，指令输出的生成、指令数据集的大小等）。我们还回顾了IT的潜在陷阱以及对它的批评，同时指出了现有策略的当前不足，并提出了一些富有成效的研究途径。

1 引言

2 方法

3 数据集

4 指令微调LLMs

5 多模态指令微调

6 特定领域指令微调

7 高效调整技术

8 评估，分析和批评

9 结论

这项工作调查了快速增长的指令调整领域的最新进展。我们对文献进行了系统的回顾，包括指令调整的一般方法、指令调整数据集的构建、指令调整模型的训练、指令调整在不同模式、领域和应用中的应用。我们还回顾了对IT模型的分析，以发现它们的优势和潜在的陷阱。我们希望这项工作将起到激励作用，进一步努力解决当前IT模型的不足。