DO LARGE LANGUAGE MODELS KNOW ABOUT FACTS?

本文是LLM系列文章，针对《DO LARGE LANGUAGE MODELS KNOW ABOUT FACTS?》的翻译。
@TOC

摘要

大型语言模型（LLM）最近推动了一系列自然语言处理任务的显著性能改进。在预训练和指令调整过程中获得的事实知识可以用于各种下游任务，如问答和语言生成。与显式存储事实知识的传统知识库不同，LLM在其参数中隐式存储事实。LLM生成的内容往往会出现不准确或偏离事实的情况，因为事实可能会被错误地归纳或随着时间的推移而过时。为此，我们旨在通过设计基准Pinocchio来全面评估LLM中事实知识的程度和范围。Pinocchio包含了2万个不同的事实问题，这些问题跨越了不同的来源、时间线、领域、地区和语言。此外，我们研究LLM是否能够组成多个事实，在时间上更新事实知识，对多个事实进行推理，识别细微的事实差异，并抵制对抗性例子。对不同大小和类型的LLM进行的大量实验表明，现有的LLM仍然缺乏事实知识，并且存在各种虚假的相关性。我们认为这是实现值得信赖的人工智能的关键瓶颈。Pinocchio数据集和我们的代码将公开。

1 引言

2 数据集构建

3 方法

4 实验

5 相关工作

6 结论

在这项工作中，我们调查了LLM是否能够记忆事实知识并基于其进行推理，跨越各种问题类别和提示策略。为此，我们策划了Pinocchio基准测试，这是一个包含20713个问题的综合测试平台，涵盖了七项不同复杂性的任务。通过在Pinocchio基准上评估LLM和提示方法，我们发现采用各种提示策略（如多样本和自我一致性）的不同类型的LLM在实际任务中的表现仍然不理想。提高LLM在复杂和微妙的NLP任务上的事实知识和推理能力仍然是一个悬而未决的研究问题，我们鼓励未来的工作在我们提出的Pinocchio基准的基础上发展。