Editing Large Language Models: Problems, Methods, and Opportunities

本文是LLM相关的系列文章，针对《Editing Large Language Models: Problems, Methods, and Opportunities》的翻译。

摘要

深度学习的最新进展促成了大型语言模型（LLM）的出现，这些模型在理解和生成类似于人类语言的文本方面表现出了令人印象深刻的天赋。尽管有能力训练能力很强的LLM，但保持其相关性和纠正错误的方法仍然难以捉摸。为此，在过去几年中，LLM编辑技术激增，其目标是在不影响其他输入性能的情况下，改变特定领域内LLM的行为。本文对LLM模型编辑的相关问题、方法和机遇进行了深入探讨。特别是，我们对任务定义和与模型编辑相关的挑战进行了详尽的概述，并对我们目前掌握的最先进的方法进行了深入的实证分析。我们还构建了一个新的基准数据集，以促进更稳健的评估，并找出现有技术固有的持久问题。我们的目标是为每种模型编辑技术的有效性和可行性提供有价值的见解，从而帮助研究界在为特定任务或背景选择最合适的方法时做出明智的决定。

1 引言

2 问题定义

3 当前方法

3.1 保留LLM参数的方法

3.2 修改LLM参数的方法

4 初步实验

4.1 数据集和模型

4.2 基本结果

5 综合分析

5.1 可移植性

5.2 局部性

5.3 效率

5.4 批编辑分析

5.5 序列编辑分析

6 与相关工作的关系

6.1 LLMs中的知识

6.2 终身学习与遗忘

6.2 LLMs的安全与隐私

7 结论

不足

模型编辑还有几个方面没有在本文中介绍。

编辑范围值得注意的是，模型编辑的应用超出了单纯的事实背景，突显了其巨大的潜力。个性、情感、观点和信仰等元素也属于模型编辑的范围。虽然这些方面已经有所探索，但它们仍然是相对未知的领域，因此本文没有详细介绍。此外，多语言编辑（Xu et al.，2022）是一个值得未来关注和探索的重要研究方向。

编辑黑盒LLM与此同时，像ChatGPT和GPT-4这样的模型在一系列自然语言任务中表现出非凡的性能，但只能通过API访问。这就提出了一个重要的问题：我们如何编辑这些“黑盒”模型，这些模型在下游使用过程中也往往会产生不希望的输出？目前，有一些工作利用上下文学习（Onoe et al.，2023）和基于提示的方法（Murty et al.，2022）来修改这些模型。它们在每个示例之前都有一个指定自适应目标的文本提示，这显示了作为模型编辑技术的前景。

在上下文编辑中，给定精炼的知识上下文（指令）作为提示，模型可以生成与所提供的知识相对应的输出。然而，这种方法可能会遇到上下文中介失败的问题，因为语言模型可能无法一致地生成与提示对齐的文本。此外，这些方法不能修改模型的内在知识，因为每次编辑都需要在输入前准备文本。值得注意的是，先前的研究表明，指导LLM可以帮助回忆从预训练中已经学到的概念，在演示中进行内隐学习（例如，注意力层）（Dai et al.，2022b），或者将任务识别和任务学习区分开来（Pan等人，2023）。因此，直观地进行上下文编辑，将提示中的知识整合到参数空间中。因此，LLM可以回忆起他们失败的地方并修复错误，而无需再进行进一步的演示。