ASTRAIOS: Parameter-Efficient Instruction Tuning Code Large Language Models

本文是LLM系列文章，针对《ASTRAIOS: Parameter-Efficient Instruction Tuning Code Large Language Models》的翻译。

摘要

大型语言模型（LLM）的全参数微调（FFT）的高成本导致了一系列参数有效微调（PEFT）方法。然而，目前尚不清楚哪些方法在不同的模型规模下提供了最佳的性价比权衡。我们介绍ASTRAIOS，这是一套由28个指令调优的OctoCoder模型组成的套件，使用7种调优方法和4种模型大小，最大可达160亿个参数。通过对5个任务和8个不同数据集（包括代码理解和代码生成任务）的调查，我们发现FFT通常在所有尺度上都能获得最佳的下游性能，并且PEFT方法在基于模型尺度的功效上存在显著差异。LoRA通常在成本和性能之间提供最有利的权衡。对这些方法对模型稳健性和代码安全性的影响的进一步研究表明，较大的模型往往表现出较差的稳健性和较低的安全性。最后，我们探讨了更新参数、交叉熵损失和任务性能之间的关系。我们发现，在小模型中观察到的调整有效性可以很好地推广到大模型，并且指令调整中的验证损失可以作为整体下游性能的可靠指标。

1 引言

2 ASTRAIOS套机与基准

3 前言研究：交叉熵

4 主要结果：任务性能

5 更进一步分析

6 讨论

7 相关工作

8 结论

这项工作研究了代码LLM的参数有效指令调整。我们介绍了一个模型套件，该套件由28个指令调整的OctoCoder组成，跨规模和PEFT方法。我们描述了具有代表性的下游任务的调整方法、模型稳健性和输出安全性，强调了通过综合评估理解这些模型的重要性。我们还讨论了更新参数、交叉熵损失和任务性能之间的关系。我们希望这些分析将激励进一步的后续工作，了解调整方法的机制并开发新的方法。