探索LLM在图上学习的潜力10.14 暂停

摘要

Learning on Graph已经引起了极大的关注，因为它在现实世界中有广泛的应用。在具有文本节点属性的图形上进行学习的最流行的流程主要依赖于图神经网络（GNN），并利用浅层文本嵌入作为初始节点表示，但这在通用知识和深入语义理解方面存在局限性。近年来，大型语言模型（LLM）被证明具有广泛的常识和强大的语义理解能力，已经彻底改变了处理文本数据的现有工作流程。本文旨在探索LLM在图机器学习中的潜力，特别是节点分类任务，并研究两种可能的流程：

1. LLM作为增强器。利用LLM来增强节点的文本属性，借助其庞大的知识，然后通过GNN生成预测结果。试图直接使用LLM作为独立的预测器。
2. LLM作为预测器。

并在各种设置下进行了全面而系统的研究。

介绍

图在各个学科和应用中无处不在，涵盖了各种现实世界的场景。其中许多图具有与文本属性相关联的节点，从而产生了具有文本属性的图，例如引用图和产品图。例如，在OGBN-PRODUCTS数据集中，每个节点表示一个产品，其相应的文本描述被视为节点的属性。这些图在各个领域广泛应用，从社交网络分析、信息检索到各种自然语言处理任务。

鉴于 文本属性图（TAGs） 的普遍存在，旨在探索如何有效处理这些图，重点关注节点分类任务。直观地说，TAGs提供了节点属性和图结构信息。因此，在建模它们的相互关系时，有效捕捉两者是很重要的。图神经网络（GNNs）已成为处理图结构数据的事实标准技术，通常利用消息传递范式来有效捕捉图结构。为了编码文本信息，传统的流程通常使用 非上下文化的浅层嵌入 ，例如词袋模型和Word2Vec嵌入，就像在常见的图基准数据集中看到的那样，随后使用GNN来处理这些嵌入。最近的研究表明，这些非上下文化的浅层嵌入存在一些限制，例如无法捕捉多义词和语义信息的不足，这可能导致在下游任务上表现不佳。

文本属性图是一种图结构，其中节点表示文本数据，而边代表节点之间的关系。每个节点都具有与之相关联的文本属性，这些属性可以是节点的文本内容、关键词、标签或其他与文本相关的信息。
例如，有三篇新闻文章：“科学家发现新的行星”，“太阳系中的行星数量增加到9颗”，“最新研究表明冥王星可能是一颗卫星”。我们可以将这三篇文章作为文本属性图的节点，并且每个节点的文本属性是相应文章的内容。然后，我们可以根据文章之间的关系添加边。例如，如果两篇文章共同提到了“行星”，我们可以在它们之间添加一条边表示它们之间的相关性。这就构建了一个文本属性图，其中节点表示新闻文章，边表示它们之间的关系。

“Non-contextualized”（非上下文化）是指在自然语言处理（NLP）中，表示不考虑上下文信息的模型或表示方法。在这种模型中，每个词或短语的表示是固定的，不受其上下文环境的影响。
传统的非上下文化表示方法包括词袋模型（Bag-of-Words），其中每个词都被视为独立的特征，无论其在句子中的位置或上下文如何。在词袋模型中，每个词被编码成一个向量表示，通常是通过词频、TF-IDF等统计方法得到。
非上下文化表示方法的局限在于无法捕捉词语的语义和上下文信息。由于缺乏上下文的考虑，非上下文化模型可能无法处理词语的多义性、歧义性以及依赖于上下文的含义变化。
非上下文化的浅层嵌入（non-contextualized shallow embeddings）是一种将词语映射到固定维度向量表示的技术，这些向量表示不考虑词语在上下文中的语义信息。这种浅层嵌入方法通常基于统计模型或预定义的规则，将每个词语映射到一个静态的向量表示。
常见的非上下文化浅层嵌入方法包括词袋模型（Bag-of-Words）和TF-IDF（Term Frequency-Inverse Document Frequency）等。在词袋模型中，每个词语被视为独立的特征，词袋模型将文本表示为词语的频率向量，其中每个维度表示一个词语在文本中出现的频率。TF-IDF则是在词袋模型的基础上引入了逆文档频率的权重，用于衡量词语在整个语料库中的重要性。

与这些非上下文化的浅层文本嵌入相比，大型语言模型（LLMs）通过在大规模文本语料库上进行预训练，提供了大量的上下文感知知识和优越的语义理解能力。这种通过预训练获得的知识已经在下游的自然语言处理任务中引起了一系列的革命。例如，ChatGPT和GPT4等模型，拥有数千亿个参数，展现了在各个领域的众多文本相关任务上优越的性能。

考虑到这些LLMs处理和理解文本数据的卓越能力，一个相关的问题出现了：

1. 能否利用LLMs的知识来弥补传统GNN流程中上下文化知识和语义理解的不足？除了通过预训练学习到的知识，LLMs在具有隐式图结构的任务上取得了初步的成功，例如推荐、排序和多跳推理，其中LLMs被用于进行最终的预测。
2. LLMs是否可以在具有显式图结构的情况下独立执行预测任务，而不仅仅是与GNN集成？

本文旨在通过进行一系列广泛的实证分析，对这两个问题进行初步调查。特别地，关键挑战是如何为图学习任务设计一个与LLMs兼容的流程。
因此，探索了两种潜在的流程来整合LLMs：
(1)LLMs作为增强器：采用LLMs来增强文本信息；随后，GNNs利用改进后的文本数据生成预测。
(2)LLMs作为预测器：LLMs被适应性地用于生成最终的预测结果，其中结构和属性信息完全通过自然语言呈现。

在这项工作中，探索利用LLMs解决与图相关的问题，并旨在加深对LLMs在图机器学习中潜力的理解，重点关注节点分类任务。首先，旨在研究LLMs如何通过利用其丰富的知识和语义理解能力来增强GNNs。显然，不同类型的LLMs具有不同的能力水平，而更强大的模型通常伴随着更多的使用限制。因此，设计针对不同类型模型的不同策略，并在这些使用限制的约束下更好地利用它们的能力。其次，希望探索LLMs如何作为预测器适应显式图结构。一个主要的挑战在于设计一个提示，使LLMs能够有效地利用结构和属性信息。为了应对这一挑战，尝试探索什么样的信息可以帮助LLMs更好地理解和利用图结构。通过这些研究，得出了一些有见地的观察，并对LLMs在图机器学习中的能力有了更好的理解。

贡献
贡献总结如下：

1. 探索了两个潜在的流程，将LLMs整合到处理文本属性图中：即LLMs作为增强器和LLMs作为预测器。第一个流程将LLMs作为属性增强器，与GNNs无缝整合。第二个流程直接使用LLMs生成预测结果。
2. 对于LLMs作为增强器，我们引入了两种策略，通过LLMs增强文本属性。我们进一步进行了一系列实验，比较了这些增强方法的有效性。
3. 对于LLMs作为预测器，我们设计了一系列实验，探索LLMs在利用结构和属性信息方面的能力。通过实证结果，我们总结了一些原始观察结果，并提供了新的见解。

关键见解
通过全面的实证评估，得出了以下关键见解：

1. 对于LLMs作为增强器，使用深度句子嵌入模型为节点属性生成嵌入表示既有效又高效。
2. 对于LLMs作为增强器，利用LLMs在文本层面增强节点属性也可以改善下游性能。
   对于LLMs作为预测器，LLMs展现了初步的有效性，但我们需要注意其不准确的预测和潜在的测试数据泄漏问题。
3. LLMs展示了作为节点标签的良好注释者的潜力，因为它们的一部分注释是准确的。