EasyEdit: An Easy-to-use Knowledge Editing Framework for Large Language Models

本文是LLM系列文章，针对《EasyEdit: An Easy-to-use Knowledge Editing Framework for Large Language Models》的翻译。

摘要

大型语言模型（LLM）通常存在知识截断或谬论问题，这意味着它们不知道看不见的事件，或者由于过时/嘈杂的数据而生成具有错误事实的文本。为此，出现了许多LLM的知识编辑方法——旨在巧妙地注入/编辑更新的知识或调整不期望的行为，同时最大限度地减少对无关输入的影响。然而，由于各种知识编辑方法之间的显著差异和任务设置的差异，社区没有可用的标准实施框架，这阻碍了从业者将知识编辑应用于应用程序。为了解决这些问题，我们提出了EASYEDIT，这是一个易于使用的LLM知识编辑框架。它支持各种前沿的知识编辑方法，可以很容易地应用于许多著名的LLM，如T5、GPT-J、LlaMA等。经验上，我们用EASYEDIT报告了LlaMA-2的知识编辑结果，表明知识编辑在可靠性和通用性方面超越了传统的微调。我们已经在GitHub上发布了源代码，以及Google Colab教程和全面的文档，供初学者入门。此外，我们还提供了一个用于实时知识编辑的在线系统和一个演示视频。

1 引言

2 背景

3 设计和实现

4 评估

5 实验

6 结论和未来工作

我们提出了EASYEDIT，这是一个易于使用的LLM知识编辑框架，它支持许多尖端方法和各种LLM。以可控和有针对性的方式编辑和操纵LLM的能力，可能为知识增强开辟新的可能性和跨各种自然语言处理任务的适应。未来，我们将继续将先进的编辑技术、创新功能（如编辑个性）和新的编辑目标（如多模态LLM的知识编辑）整合到EASYEDIT中，旨在促进NLP社区的进一步研究和激发新思想。