【文献阅读】Harnessing Explanations LLM-to-LM Interprete for Enhanced TAG Graph Reresentation Learning

论文连接： Harnessing Explanations

摘要

背景： 近年来，文本属性图（TAG）的表示学习已成为一个关键的研究问题。一个典型的案例是论文引用网络，其中每篇论文的文本作为节点属性，GNN将每篇论文将在这些文本属性转换为浅层特征，从而利用文本属性。
问题： 最近LLM大火，GPT和Lama2表现出推理和利用常识的能力。进一步，如何将这种文本建模能力与GNN的结构学习能力相结合成为突出性问题。
贡献： 本篇文章的工作专注于利用LLM捕获文本信息作为特征，用于提高GNN在下游任务上的性能。
创新点：

1. 使用解释作为特征：提示LLM执行零样本分类，请求其决策过程的文本解释。并且设计一个LLM到LM的解释器。将这些解释转化为信息丰富的特征，从而增强下游的GNN，并且在Cora、PubMed、ogbn-arxiv上进行验证。
2. 加快了训练速度。
3. 多功能性超出了文本属性图的范围，并且具有潜力增强其他的图文数据。

引言

动机： 许多现实世界的图都具有文本信息，例如论文引用网络中节点可以是纯文本，例如一段话或一个单词。更一般地说，文本属性和图地拓扑结构的结合，提供了丰富的信息源，显著增强表示学习的重要应用，诸如推荐系统、文本分类等。

文本属性图的表示学习： 先前的研究主要使用浅层神经网络或者手工的方式构建特征，比如对每个节点的文本属性进行编码。 但是，这些浅层文本嵌入旨在它们可以捕获的语义特征的复杂性方面受到限制，特别是与多层语言模型的方法相比。
基于LM的TAG解决方案： 基于LM的技术可以更好地捕获TAG中文本地上下文和细微差别。流程为：预先训练LM经过微调并用于生成针对特定TAG任务定制的节点嵌入。

• Chien等人使用邻域预测任务微调LM
• Zhao等人，微调LM根据GNN的输出预测标签分布。基于LM的模型在obgn-arxiv上的节点分类方面取得了最先进的结果。
  但是上述工作需要复杂的而设计，并且需要大量的计算资源。此外，出于可扩展性的原因，现有的工作大多依赖于相对较小的而语言模型，反而缺乏了LLM的复杂推理能力。

LLM： 以GPT为代表的大语言模型显著提高了NLP任务的性能，并实现了复杂的语言处理能力，例如复杂的零样本推理。以及，未经明确训练的新能力，例如算数、多步骤推理等。但是在TAG上的表现仍然是未知的。

LM与LLM对比：

• 参数量的对比：LLM参数众多，需要大量计算资源。LM相对较少
• 场景对比：LLM不适用于实验室场景进行学术研究，LM相对可行。
  结论：为了在实验室中使用，可以通过LMaaS的方式来使用LLM，而无需大量的计算资源。并且本文的主要方式是从LLM中提取信息，因此，不需要对LLM进行微调或者提取思维链。
  并且，现有的基于LM的方法，并不直接与LLM兼容，所以需要对LM进行微调并且获取其思维链。

初步研究： 为评估LLM在TAG上增强表示学习的能力，在ogbn-arxiv数据集上进行零样本分类。使用论文标题、摘要和问题组成的特定任务提示词，GPT-3.5实现了73.5%的准确率以及高质量的文本解释。

目前的工作： 引入了一种新颖的框架进行TAG上的表示学习，一个关键的创新是——将解释作为特征的概念。通过提示LLM来解释它的预测，再提取其相关的先验知识和推理步骤，使得这些信息易于较小的模型消化，类似人类专家如何使用解释来传达见解。

主要贡献：

• 新颖的LMaaS兼容方法，利用LLM增强TAG上的表示学习，创新主要在于将文本转换为特征向量。
• 代码开源。
• 收集并发布相关数据。

相关工作

大致意思就是图的表示学习这一块，经历了使用浅层网络来学习特征表示的过程，再到使用复杂的网络采用级联的方式来学习图的特征表示，最后到现在的使用LLM增强的方式。期间，提到之前的一篇工作【GPT4Grpah：Can Large Language Models Understand Graph Structured Data ? An Empirical Evaluation and Benchmarking】，作者认为与之不同的是，本篇文章探索的是专属于TAG的方法。

形式化

主要定义一些概念：
文本属性图： 形式上来说，TAG是 $G=(V,A,\{S_n{\}}_{n\in V})$ ,其中V代表节点，A代表邻接矩阵，S是与n个节点关联的连续文本。以$D$ 表示分词字典，$L_n$ 为序列长度，那么$S_n\in D^{L_n}$ 。

用于文本分类的语言模型： 在TAG的上下文中，LM可用于对每个节点关联的文本属性进行编码并捕获文本语义的表示，相当于LM模型可以考量节点间的关联程度，以获取较好的特征。

大语言模型与提示词： LLM引入一种新的task_adaptation的范式，“预训练-提示-预测”取代了传统的“预训练-微调”的流程。在这个范式下，首先在LLM的大型文本语料库上学习，以学习通用的语言表示。然后不是使用特定场景下的微调，而是使用指定任务和上下文的自然语言提示来提示模型，并且模型直接根据提示和输入生成输出。

方法

关键思想： 利用LLM的解释作为下游GNN的信息特征，为了实现这一目标，方法涉及三个主要步骤。1）基于LLM的预测和解释生成；2）微调LM解释器；3）训练GNN

Step1：使用LLM生成预测和解释

考虑到LLM的规模，所以采用LLMaaS的方法，这意味着目标仅通过API访问LLM进行操作，使用基于文本的输入和输出，而不需要微调LLM或者访问其嵌入或者逻辑。流程如下：

1. 指示LLM做出多个预测，并且使用这多个预测为其最终决策提供解释。如下图所示，这一步是为了有效的以文本格式提取推理能力和常识。
   ![[Pasted image 20240110144554.png]]
   ![[Pasted image 20240110144141.png]]
2. 然后使用LLM-LM的解释器来处理这些基于文本的输出，为下游GNN创建信息丰富的节点特征。

Step2：微调LM解释器和节点特征提取

原始文本与解释特征：

1. 将原始文本以及LLM的解释转换为适合下游GNN应用的固定长度节点特征。
2. 微调出一个较小的LM，以充当LLM文本解释器的”解释器“，这一步是因为，LLM和LM都具有明显的优势，LLM拥有更大的能力和更多的知识，但是灵活性差，而LM能力相对较少，但是足够灵活，可以针对特定任务进行微调。因此，采用LM来解释LLM的输出。
3. 对LM进行微调，使其能够从解释中提取最有价值的，且与任务相关的特征。

Step3：特征排名

这一部分主要是提示LLM对它生成的解释进行排序，排序后得到的向量特征再通过下述过程形成最终的预测向量。

1. 前k个预测被独热编码为向量
2. 将向量拼接成$KC$ 维的向量
3. 进行线性变换形成固定长度$d_p$ 的向量。
4. 最终这个向量为预测向量。

Step4： GNN训练

使用原始、专家知识、预测三类特征来进行训练，这种策略使得模型能够从不同的输入源捕获补充信息，最终提高整体模型的性能。

结论

局限和未来工作：

• 限制：需要为每个数据集手动制作Prompt，这对于每个数据集的节点分类任务来说可能不是最佳的。提示的效果会随着具体任务而波动，
• 期望：集中在自动化提示生成过程，以及动态TAG上。
  个人认为：
• 提供了一个新的范式：”预训练-提示-预测“的过程，该过程更多的是从LLM中获取大量的专家知识，以完备目前的图信息、或者增强图特征。
• 给出了一个”套取”LLM信息的方法，即使用LM来作为LLM解释的解释器。认为LM与LLM之间是存在互补关系的。
• 论文证明了LM在Graph的TAGs领域中的具有极大的潜力。
• 至于所提到的可解释性，来源于LLM输出的文本信息，认为LLM给出的解释是保真的。文中有一些理论证明，有兴趣的可自行查看~