AI新时代，Graph与大模型将如何碰撞与融合？

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

随着通用人工智能（AGI）的崛起，graph领域将会迎来怎样的变革？图数据处理、图神经网络、图推理和推荐、图数据库和知识图谱等方面将如何应对新时代的挑战？这些问题都值得我们深入探讨和思考。

2023年8月16日，AI TIME第十七期PhD Debate活动“AI新时代，graph的研究该何去何从”，特别邀请了新加坡Sea AI Lab研究员刘乾，密歇根大学安娜堡分校博士生朱婧，莫纳什大学博士生罗林浩，西安交通大学本科生王珩，密歇根州立大学博士生毛海涛。五位嘉宾围绕graph领域最新的研究成果，探讨了创新的应用案例，共同探索了graph在AI新时代下的发展方向和前景。

Graph领域能对现有的AGI发展有什么帮助？

刘乾：graph领域到目前为止还没有开发出一个通用的类似于Bert的模型，是因为其中缺少一个通用基本单元，并且基本单元在不同场景下代表的含义有差异，很难实现统一。找到不同graph之间可以共享的信息以及在graph上进行迁移学习的研究，是值得探讨的问题，也是graph可能与AGI产生联系的地方。但是想要对一个结构复杂的GNN网络模型训练是很难的。在NLP领域，有两种方法，第一种是transformer可以并行训练，第二种是transformer在训练层数加深后，虽然训练存在不稳定性，但仍然有机会学到好的特征。目前人们普遍认为scaling up是通向更快人工智能的捷径，如果GNN网络没有scaling up的特性，对于模型的训练和图结构的理解仍然是较大的瓶颈。

毛海涛：在大模型中，光有文本信息是不稳定的，graph可以补充额外的结构信息，在文本的模态上增添一种结构模态，让大模型的生成更加鲁棒。虽然graph的结构信息能够弥补文本信息带来的不足，但是如何抽取图结构中的有效信息是目前的一个难题。

罗林浩：近期的研究热点是能否有类似transformer的结构去理解图结构，这一系列的研究核心在于如何更好地放大知识图谱中的结构信息去帮助语言模型提升性能。而性能的提升包含两方面：一方面是提升语言模型对图结构的表现与理解能力，另一方面是如何抽取知识图谱的结构信息去帮助语言模型增强某种特定的能力。此外，对于常识问答等相关推理问题的结构并非一条路径，无法用语言模型的形式直接理解graph结构，需要将GNN融合其中，在抽取结构化信息后再注入语言模型中提升它的复杂推理能力。

王珩：在社交网络中会存在一些机器人账号，如果只使用现有的语言模型检测账号，很容易出现偏差，但是使用graph 结构辅助现有的AGI可以增强模型的鲁棒性。

朱婧：在知识图谱中更多的是一种强正则化的方法，因为其中的信息很大程度上全部是正确的，但是大语言模型输出的信息未必是完全正确的，它对于结构的理解是软正则化的，未来软正则化与强正则化两者应该可以同时存在。

现有的AGI发展会对Graph领域产生什么样的影响？

罗林浩：大语言模型本身存在一些缺点，它对知识的表征是隐式的，会产生“幻觉”问题从而生成与事实相违背的信息，并且我们也无从得知大语言模型的推理过程。而知识图谱结构化的表示就显现出优势，它的知识存储是结构化的且准确性较高，可以帮助大语言模型提升能力。当然大语言模型也有一定优势，对文本理解能力较强，泛化性较好，可以利用这些特性完善知识图谱的不完备性，从而利用LLM解决知识图谱面临的一些挑战。

刘乾：如果是在Bert时代，Bert可以对图形节点提供很好的表征；如果有一个十分智能的模型，那么将其用在graph领域上会有意想不到的能力。将知识图谱应用在LLM中，需要保持结构化的信息，又无法改变语言模型本身的结构，这会是一个难题。知识图谱用在微调中，需要反复训练，所以我们考虑用新的知识更新语言模型中已存储的知识。知识谱图是替换掉已有的知识，但是添加新的知识面临的难题是如何找到相应的存储位置，并将其近似无损地添加到模型权重中。

朱婧：AGI可以增强graph的特征提取与零样本学习能力。同时，它也会在图推理和推荐领域发挥重要作用。通过对图结构数据的深入理解和分析，AGI可以提供更准确、个性化的推理和推荐结果，有助于改进搜索引擎、广告推荐、智能助手等应用的用户体验和效果。

王珩：AGI的出现可能推动图数据处理技术的发展，它能够更好地理解和处理复杂的图结构数据，从而提供更高效、准确的图分析和图计算能力。这会推动其在社交网络分析、推荐系统、生物信息学等领域取得更好的结果。

毛海涛：知识图谱是一种用于表示和组织知识的图结构数据模型，AGI有可能推动图数据库和知识图谱的创新。AGI的发展可能提供更好的方法和工具来构建和维护大规模的图数据库和知识图谱，从而提高知识管理和智能检索的效率和准确性。

Graph是否需要属于自己的大模型？什么是可能的通路？

朱婧：对于graph来讲最难的任务是节点分类与链接预测。对于节点分类来讲，节点一方面取决于graph的构建，另一方面取决于标签在模型上的位置；对于链接预测来讲，需要解决结构化的理解任务。所以graph最大的问题如何定义任务并可以将它翻译成可以理解的自然语言。

罗林浩：知识谱图中的结构信息更多是事实信息的扩展，我们对于知识图谱结构的理解本质上就是对文本信息的理解，从知识图谱的领域而言，它是有可能被大模型统一的，但是如何调整知识图谱的大小使其融入大模型中会是更大的挑战。对于graph领域来讲，每一个graph本身就是一个domain或model，它的特征表示维度可能是不一样的，graph的模型可能并不会像语言模型实现大一统，更多的可能性是以一种迁移学习的形式，在不同模态的graph下使用大模型需要进行改进、对齐的操作。

刘乾：如今有很多领域内的大模型，但是其中涉及一些复杂的问题，需要很多领域的技能来解决。在graph中同样存在这样的情况，如果我们针对不同领域做出不同的graph 基础模型，就很难表现出令人惊讶的特性。

王珩：大语言模型自然语言处理和计算机视觉等领域取得了显著的成果，但在图领域是否也需要类似的大模型还有待进一步研究和探讨。比如图推理涉及从图中发现隐藏的模式和关系，而图推荐涉及从图中提取有用的信息来进行个性化的推荐，大模型可能有助于更好地理解和利用图中的复杂关系，从而提高推理和推荐的准确性和效果。

毛海涛：graph最终的形态是不会被大模型统一的，它可能会在某些特定的领域如社交网络、公民网络、朋友网络等有较大的模型解决具体的问题。

Graph是否需要更高的智能，Graph领域未来应该关心哪些问题？

毛海涛：一定是需要更高的智能，但是否能够以LLM的形式呈现是不确定的。首先graph本身是很困难的，其次它也存在一些问题。我认为智能推理可以对比到机器翻译中，但是目前较大的挑战是解决符号语言与自然语言之间的差距，比如自然语言是有歧义的，而符号语言是准确的；自然语言是简短的，而符号语言是复杂的等等。

王珩：大语言模型被用在具有隐式图结构的新任务中，一个非常重要的潜在问题是大语言模型能否用自然语言进行基于图的推理能力。我们通过构建NLGraph数据集，模拟了8种不同难度的图推理问题，发现大语言模型具有基本的图推理能力，高级的提示方法对图推理的影响好坏参半。上下文学习在困难图推理问题上很难奏效，大语言模型对图推理问题中的伪相关非常脆弱。我们在后期还进行了一些尝试，比如提出prompting techniques提升图推理能力，实验结果显示在简单任务上是有效的，但是对于复杂任务效果不显著。

罗林浩：如何在知识图谱或者graph的结构上进行一些推理操作或者路径的搜索是很值得关注的问题。有了graph结构的约束，由在大语言模型上的推理转变为在graph上的推理，让整个模型更加可控，这也是很关键的一点。在未来，graph是否也会有多模态的需求，将多模态信息与graph信息相融合，这也可能是graph实现更高级别智能所要考虑的问题。

刘乾：graph有自己的语言，比如sparkle等，很多编程语言本身注重的是多效推理与数值计算，graph中的数值计算很困难。对于sparkle、SQL以及语言模型中不同语言的特性，我认为最大的一个不同点在于语言模型出现之前，人们普遍认为常识是独立的问题，在其出现之后，我们发现以前很难用符号语言表达的问题可以很轻松地被语言模型解决。所以设计一种能够更清楚表达复杂逻辑的形式是较好的研究方向，在代码生成与自然语言推理中也是值得探索的方向。

朱婧：graph在未来一定是会有更高的智能的，multi-model graph是未来可以研究的一个方向，如果我们将多模态的信息与graph的结构信息相结合，也许可以解决更多复杂推理的任务。

整理：陈研

审核：刘乾、朱婧、罗林浩、王珩、毛海涛

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

 关于AI TIME 

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了1300多位海内外讲者，举办了逾600场活动，超600万人次观看

我知道你

在看

哦

~

点击 阅读原文 查看回放！