Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automate

本文介绍了一种名为LLM-AUGMENTER的系统，它能够增强大型语言模型（LLMs）的能力，使其在处理任务型对话和开放领域问答等下游任务时更加准确、可靠。该系统通过插件式模块的方式为黑盒LLM添加了外部知识，并使用反馈函数迭代优化模型响应。实验结果表明，LLM-AUGMENTER能够显著减少ChatGPT的幻觉现象，同时保持其流畅性和信息性。作者还公开了源代码和模型供其他研究人员参考。

论文方法

方法描述

本文提出了一种名为LLM-AUGMENTER的系统，用于改善基于预训练模型的语言模型（如ChatGPT）在与人类交互时出现的一些问题，例如生成不准确或误导性的回答。该系统包括五个组件：Working Memory、Policy、Action Executor、Knowledge Consolidator和Utility模块。其中，Working Memory负责跟踪对话状态并存储必要的信息；Policy选择下一个动作以最大化预期奖励；Action Executor执行所选的动作；Knowledge Consolidator将外部知识整合到模型中以避免生成错误的回答；Utility模块根据任务特定的要求为候选响应生成评分，并提供反馈以帮助模型更好地学习。 LLM-AUGMENTER通过三个阶段来学习：首先使用规则引擎初始化模型，然后使用用户模拟器进行自监督学习，最后与真实用户进行交互以进一步优化模型。此外，政策学习可以使用可微分神经网络实现，而其他可训练模块也可以使用相同的学习方法进行优化。

方法改进

本文提出的LLM-AUGMENTER通过引入外部知识和自动化反馈机制来提高基于预训练模型的语言模型的表现。这种方法不仅能够提高模型生成的答案的准确性，还能够使模型更好地理解用户的意图，并且可以通过不断的自我学习和优化来不断提高性能。

解决的问题

本文提出的方法主要解决了基于预训练模型的语言模型在与人类交互时出现的一些问题，例如生成不准确或误导性的回答。这些问题可能导致用户体验不佳，甚至可能造成损失。因此，本文提出的方法可以帮助改善这种状况，从而提高用户的满意度并减少潜在的风险。

论文实验

本文主要介绍了在信息寻求对话任务中使用知识增强技术的实验研究。具体来说，作者进行了以下三个对比实验：

第一个实验是在新闻聊天和客户服务场景下比较了使用外部知识与不使用外部知识时模型的表现。实验结果表明，使用外部知识可以显著提高模型的KF1分数，并且使用反馈来指导模型选择正确的答案也可以进一步提高模型的表现。

第二个实验是通过将不同的政策应用于ChatGPT来测试它们对模型表现的影响。实验结果表明，使用自适应策略可以帮助模型学习何时使用外部知识，从而提高模型的表现。

第三个实验是在开放领域的问答任务上测试了知识增强技术的效果。实验结果表明，使用外部知识可以显著提高模型的回答准确率，并且使用自动化的反馈机制也可以进一步提高模型的表现。

总的来说，这些实验都证明了知识增强技术对于改善语言模型在信息寻求对话任务中的表现具有重要作用。

论文总结

文章优点

• 本文提出了一种名为LLM-AUGMENTER的方法，通过使用外部知识和自动化反馈来增强大型语言模型（如ChatGPT）的能力。

• 该方法利用外部知识作为LLM提示的一部分，帮助生成更接地的知识相关的响应，并使用自动化反馈激发模型（如ChatGPT和Instruct-GPT）的“后续纠正”能力以产生排名更高的修订响应。

• 实验结果表明，LLM-AUGMENTER在信息检索对话任务和开放领域维基问答任务中显著减少了ChatGPT的幻觉，并提高了其生成响应的流畅性和信息量。

方法创新点

• 本文提出了一个PnP框架，用于将外部知识与自动化反馈相结合，以增强大型语言模型的能力。

• LLM-AUGMENTER使用证据链形成方法来巩固外部知识，并使用自动化反馈来纠正模型的错误响应。

• 该方法不需要重新训练模型参数，因此具有很高的可扩展性和成本效益。

未来展望

• 在未来的实验中，作者计划使用ChatGPT等更多模型来验证LLM-AUGMENTER的有效性。

• 作者还计划将用户反馈纳入到LLM-AUGMENTER中，以进一步提高模型的表现。

• 作者认为，在未来的实验中，需要添加更多的细粒度分析来评估响应的质量，并将人类评价纳入其中。