Optimizing Instruction-Following Language Models with External Knowledge for Automated Fact-Checking

本文是LLM系列文章，针对《FactLLaMA: Optimizing Instruction-Following
Language Models with External Knowledge for Automated Fact

摘要

自动事实核查在打击错误信息传播方面发挥着至关重要的作用。大型语言模型（LLM）和指令跟随变体，如InstructionGPT和Alpaca，在各种自然语言处理任务中表现出了显著的性能。然而，他们的知识可能并不总是最新的或足够的，这可能会导致事实核查的不准确。为了解决这一限制，我们建议将指令遵循语言模型的能力与外部证据检索相结合，以提高事实核查性能。我们的方法包括利用搜索引擎来检索给定输入声明的相关证据。这些外部证据是有价值的补充信息，可以增强对预训练语言模型的了解。然后，我们使用这些证据指导调优一个名为LLaMA的开源语言模型，使其能够更准确地预测输入声明的真实性。为了评估我们的方法，我们在两个广泛使用的事实核查数据集上进行了实验：RAWFC和LIAR。结果表明，我们的方法在事实核查任务中实现了最先进的性能。通过整合外部证据，我们弥合了模型知识与最新和充分的可用上下文之间的差距，从而改善了事实核查结果。我们的研究结果对打击错误信息和促进在线平台上准确信息的传播具有重要意义。我们发布的材料可访问：https://thcheung.github.io/factllama。

1 引言

2 相关工作

3 方法

4 实验设置和结果

5 结论

总之，这项研究强调了自动事实核查在打击网上错误信息传播方面的关键作用。虽然大型语言模型（LLM）和指令跟随变体，如InstructionGPT和Alpaca，在各种自然语言处理任务中表现出了显著的性能，但它们可能缺乏最新或足够的知识，这可能会导致事实核查的不准确。为了解决这一限制，我们提出了一种将预训练的语言模型与外部证据检索相结合的方法，从而提高了事实核查的准确性。通过利用搜索引擎检索给定声明的相关证据，我们成功地增强了预训练语言模型的知识。通过对一种名为LLaMA的开源语言模型进行指令调整，有了这些外部证据，我们对输入声明的真实性实现了更准确的预测。在广泛使用的事实核查数据集RAWFC和LIAR上的实验评估表明，我们的方法在事实核查任务中实现了最先进的性能。外部证据的整合有效地弥补了模型与现有最新信息之间的知识差距，从而改善了事实核查结果。我们相信，我们的研究对打击错误信息和促进在线平台上准确信息的传播具有重要意义。在我们未来的工作中，我们计划用这些预训练的语言模型生成解释，以供更广泛的使用。