西湖大学张岳老师：图神经网络在自然语言处理中的应用

点击下面卡片，关注我呀，每天给你送来AI技术干货！

来源：深度学习与图网络

近几年,神经网络因其强大的表征能力逐渐取代传统的机器学习成为自然语言处理任务的基本模型。然而经典的神经网络模型只能处理欧氏空间中的数据,自然语言处理领域中,篇章结构,句法甚至句子本身都以图数据的形式存在。因此,图神经网络引起学界广泛关注,并在自然语言处理的多个领域成功应用。该文对图神经网络在自然语言处理领域中的应用进行了系统性的综述, 首先介绍了图神经网络的核心思想并梳理了三种经典方法: 图循环网络,图卷积网络和图注意力网络;然后在具体任务中,详细描述了如何根据任务特性构建合适的图结构以及如何合理运用图结构表示模型。该文认为,相比专注于探索图神经网络的不同结构,探索如何以图的方式建模不同任务中的关键信息,是图神经网络未来工作中更具普遍性和学术价值的一个研究方向。

http://jcip.cipsc.org.cn/CN/abstract/abstract3096.shtml

自然语言处理中存在很多图结构。如图 1 所 示,从句法结构、语义关系图、篇章关系结构,到实体和共指结构、关系结构和知识图谱,都是一般的图结 构。一个句子内部的字、词相邻关系也构成图结构。形式上,图由节点和边组成。本文以三类图结构为 例,观察自然语言处理任务中相关的节点和边,以便 更具体地了解这些任务所对应的图。

第一类图结构是基于句子的语言结构。已有研究表明,对关系提取、机器翻译和其他自然语言处理 任务,句法[1]、语义[2]和篇章结构信息[3]非常有用。因此,一种在句子上定义图结构的方法是把每个词 当作节点,并把句法依存关系、语义角色和篇章关系 等节点之间的链接当作边。我们可以在相邻单词之 间添加多种类型的边,从而形成一种具有统一节点 类型但具有不同边类型的图。

第二类图结构是基于文档中的实体和共指关系 连接构建的,如图 1(a)所示。对于机器阅读的任 务,有研究表明,为了正确地回答问题,对参考文档 中不同的句子进行推理可能是有必要的[4]。一种为 这种推理构建图结构的方法是把文档中提及的实体 作为节点,并把实体之间的共指链接作为边。另外, 除了文本文档中的实体,知识图谱中的实体也可以 使用图神经网络进行编码,如图1(b)所示。 

第三类图结构可以是结构预测任务中的图结构 本身。具体来说,如图1(c)所示,多个基准结构化 预测模型给出的候选图结构可以使用图神经网络表 示来进行重排序。这样的候选图结构可以由一个基 线系统的k 个最优的输出结构组成。当将这些结 构整合在一起形成一个图时,可以提取其中有用的 特征,以便从中进一步预测出正确的输出[5]。

近年来,图神经网络已被广泛运用到自然语言 处理的大多数任务当中。有一系列的工作利用图神 经网络对上述几类任务中的图结构进行编码,从而 更充分地得到相关表示,能有效地解决相关问题。本综述系统性地汇报相关工作,首先介绍图神经网 络的基本概念,然后根据不同任务,分别介绍图网络 在自然语言处理中的应用。与已有的图神经网络综 述[6-7]相比,本文针对自然语言处理进行详细阐述。

说个正事哈

由于微信平台算法改版，公号内容将不再以时间排序展示，如果大家想第一时间看到我们的推送，强烈建议星标我们和给我们多点点【在看】。星标具体步骤为：

（1）点击页面最上方“深度学习自然语言处理”，进入公众号主页。

（2）点击右上角的小点点，在弹出页面点击“设为星标”，就可以啦。

感谢支持，比心。

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

点击上面卡片，关注我呀，每天推送AI技术干货~

整理不易，还望给个在看！