Large Language Models on Graphs: A Comprehensive Survey

本文是LLM系列文章，针对《Large Language Models on Graphs: A Comprehensive Survey》的翻译。

摘要

大型语言模型（LLM），如ChatGPT和LLaMA，由于其强大的文本编码/解码能力和新发现的涌现能力（如推理），正在自然语言处理方面取得重大进展。虽然LLM主要设计用于处理纯文本，但在许多现实世界场景中，文本数据以图形的形式（例如，学术网络和电子商务网络）与丰富的结构信息相关联，或者图形数据与丰富的文本信息配对的场景（例如，具有描述的分子）。此外，尽管LLM已经显示出其纯基于文本的推理能力，但这种能力是否可以推广到图场景（即基于图的推理）还没有得到充分的探索。在本文中，我们系统地回顾了与图上的大型语言模型相关的场景和技术。我们首先将在图上采用LLM的潜在场景总结为三类，即纯图、富含文本的图和文本配对图。然后，我们讨论了在图上使用LLM的详细技术，包括LLM作为预测器、LLM作为编码器和LLM作为对齐器，并比较了不同模型流派的优缺点。此外，我们还提到了这些方法在现实世界中的应用，并总结了开源代码和基准数据集。最后，我们总结了这一快速发展领域未来潜在的研究方向。相关来源可在https://github.com/PeterGriffinJin/Awesome-Language-Model-on-Graphs上找到。

1 引言

2 定义和背景

3 分类和框架

4 纯图

5 富含文本的图

6 文本成对图

7 应用

8 未来方向

9 结论

在本文中，我们对图上的大型语言模型进行了全面的综述。我们首先对可以采用LMs的图场景进行分类，并总结了关于图技术的大型语言模型。然后，我们对每个场景中的方法进行彻底的审查、分析和比较。此外，我们总结了可用的数据集、开源代码库和多种应用程序。最后，我们为图上的大型语言模型提出了未来的发展方向。