Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via Prompt Augmented by ChatGPT

本文是LLM系列的文章，针对《Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via Prompt Augmented by ChatGPT》的翻译。

摘要

本文旨在开发一个对复杂图形数据具有推理能力的大型语言模型。目前，LLM在各种自然语言学习任务上取得了令人印象深刻的成绩，其扩展也被应用于研究具有多种模式数据的视觉任务。然而，当涉及到图学习任务时，现有的LLM存在非常严重的缺陷，因为它们在执行精确的数学计算、多步骤逻辑推理、对空间和拓扑因素的感知以及处理时间进展方面存在遗传弱点。
为了应对这些挑战，在本文中，我们将研究赋予现有LLM图形推理能力的原理、方法和算法，这将对LLM和图形学习的当前研究产生巨大影响。受最新的ChatGPT和Toolformer模型的启发，我们提出了Graph-Toolformer（面向图形推理的Toolformer）框架，通过ChatGPT增强的提示来教授LLM自己使用外部图形推理API工具。具体来说，在本文中，我们将研究教Graph ToolFormer处理各种图形数据推理任务，包括（1）非常基本的图形数据加载和图形属性推理任务，从简单的图形顺序和大小到图形直径和周长，以及（2）对真实世界图形数据的更高级的推理任务，如书目论文引用网络，蛋白质分子图、顺序推荐系统、在线社交网络和知识图。
从技术上讲，为了构建Graph ToolFormer，我们建议分别为每个图推理任务手工制作指令和少量提示模板。通过上下文学习，基于这些指令和提示模板示例，我们采用ChatGPT通过最合适的外部API函数调用来注释和增强更大的图形推理语句数据集。这种增强的提示数据集将通过选择性过滤进行后处理，并用于微调现有的预先训练的因果LLM，如GPT-J和LLaMA，以教他们如何在输出生成中使用图推理工具。为了证明Graph ToolFormer的有效性，我们对各种图推理数据集和任务进行了广泛的实验研究，并推出了具有各种图推理能力的LLM演示。Graph ToolFormer框架的所有源代码、图形推理演示以及图形和提示数据集都已在项目github页面上在线发布。

1 引言

2 相关工作

3 记法、术语定义和问题表述

4 提出的方法

5 实验

6 结论

在本文中，我们研究了赋予现有LLM图推理能力的原理、方法和算法。我们介绍了Graph ToolFormer框架，并建议LLM使用外部图形数据加载和图形推理工具来处理任务。具体而言，本文研究了几个具有代表性的图推理任务，包括基本图属性推理任务，以及高级任务，如书目论文主题推理、分子图函数推理、顺序推荐系统推理、社交网络社区推理和知识图谱推理。对于这些图推理任务中的每一个，我们在实验中选择了几个基准图数据集，并手动设计了推理API调用提示示例。此外，在ChatGPT的帮助下，我们可以进一步扩充推理API调用模板，以生成大型图形推理数据集。通过使用生成的提示数据集对现有的预训练LLM进行微调，Graph ToolFormer框架已被证明是有效的，并在许多研究的图推理任务上获得了广泛的实验结果。

7 未来研究方向