Head-to-Tail: How Knowledgeable are Large Language Models (LLM)? Will LLMs Replace Knowledge Graph

本文是LLM系列的文章，针对《Head-to-Tail: How Knowledgeable are Large Language Models (LLM)? A.K.A. Will LLMs Replace Knowledge Graphs?》的翻译。

摘要

自从最近大型语言模型（LLM）的繁荣以来，关于如何减少LLM反应中的幻觉，如何提高LLM的真实性，以及以符号形式存储世界知识的知识图谱（KGs）是否会被LLM取代，一直在进行交错的讨论。在本文中，我们试图从一个新的角度来回答这些问题：LLM的知识水平如何？
为了回答这个问题，我们构建了从头到尾的基准，该基准由18K问答（QA）对组成，涉及头部、躯干和尾部受欢迎程度方面的事实。我们设计了一种自动评估方法和一组指标，这些指标与LLM自信地内化的知识非常接近。通过对14个公开的LLM的综合评估，我们发现现有的LLM在掌握事实知识方面仍然远远不够完美，尤其是在躯干到尾巴实体的事实方面。

1 引言

2 从头到尾的基准

3 实验分析

4 讨论

5 相关工作

6 结论

我们介绍了从头到尾，这是第一个旨在评估LLM内化头部、躯干和尾部事实的能力的基准。除了数据集，我们还提出了一种新的评估方法，该方法具有适当的指标，用于自动评估LLM的真实性。我们的评估表明，即使是最先进的LLM在表示事实知识方面也有显著的局限性，尤其是对于躯干和尾部实体。因此，我们建议新的研究领域将符号形式和神经形式的知识无缝融合。