NEFTUNE: NOISY EMBEDDINGS IMPROVE INSTRUCTION FINETUNING

本文是LLM系列文章，针对《NEFTUNE: NOISY EMBEDDINGS IMPROVE INSTRUCTION FINETUNING》的翻译。

摘要

我们展示了语言模型微调可以通过简单的增强来改进，有时甚至是显著的改进。NEFTune在训练期间向嵌入向量添加噪声。使用Alpaca对LLaMA-2-7B的标准微调在AlpacaEval上实现了29.79%，而使用噪声嵌入时，这一比例上升到64.69%。NEFTune还改进了现代指令数据集上的强基线。使用Evol Instruct训练的模型可以看到10%的改进，使用ShareGPT8%的改进，OpenPlatypus改进了8%。即使是用RLHF进一步改进的强大模型，如LLaMA-2-Chat，也可以从NEFTune的额外训练中受益。

1 引言

2 NEFTUNE：噪声嵌入指令调整

3 实验设置

4 结果

5 分析

6 结论与局限性

NEFTune的成功表明了算法和正则化子在LLM训练中经常被忽视的重要性。与计算机视觉社区多年来一直在研究正则化和过拟合不同，LLM社区倾向于使用标准化的训练循环，这些训练循环是为优化器的稳定性而设计的，而不是泛化。在这种环境下，LLM研究人员已经将数据集和模型缩放作为主要的前进道路。考虑到NEFTune的一致增益，以及在小指令数据集上过度拟合的趋势，似乎在LLM设置中应该重新审视正则化。
我们的研究有几个局限性。我们采用AlpacaEval作为LLM指令遵循能力的核心衡量标准，该能力受单一评价（GPT-4）的偏见影响。此外，由于计算资源有限，我们无法在多个数据集的更大70B变体上验证NEFTune的成功，并且我们不得不在大多数NEFTune运行中依赖固定的超参数，而不是全面运行。最后，尽管我们进行了实证研究，但我们对NEFTune为什么有效还没有得出结论性的理解。