【综述专栏】图神经网络综述

来源：图灵人工智能

作者：王健宗等

https://wwwihcm/people/euu-lin-jun-7

原文链接：

https://kns.cnki.net/kcms/detail/31.1289.tp.20201123.1641.002.html

摘要：随着计算机行业和互联网时代的不断发展与进步，图神经网络已经成为人工智能和大数据重要研究领域。图神经网络是对相邻节点间信息的传播和聚合的重要技术，可以有效地将深度学习的理念应用于非欧几里德空间的数据上。简述图计算、图数据库、知识图谱、图神经网络等图技术领域的相关研究历史，分类介绍不同类型的图结构。分析对比不同的图神经网络技术，重点从频域和空间与的信息聚合方式上分类比较不同的图卷积网络算法。阐述图生成和图对抗网络、图强化学习、图迁移学习、神经任务图和图零样本学习等不同的图网络与深度学习方法相结合的技术方法，并列举不同的图神经网络技术在文本、图像、知识图谱、视频任务等领域的具体应用。最后，对图神经网络未来的发展与研究方向加以展望。

关键词：图神经网络，图结构，图计算，深度学习，图神经网络应用

01

概述

近年来随着计算机行业的快速发展和数据量的井喷式增长，深度学习方法被提出并得到了广泛的应用。深度学习通过神经网络端到端的解决方案，在图像处理、语音识别、语义理解等领域取得了巨大的成功，深度学习的应用往往都是在高维特征空间上特征规则分布的欧几里德数据。作为一种关系型数据结构，图(Graph)在深度学习中的应用研究近年来受到越来越多的关注，本文将图的演进历程分为数学起源、计算应用、神经网络延伸三个阶段。

图的概念起源于18世纪著名的柯尼斯堡七桥问题，到了20世纪中期，拟阵理论、超图理论、极图理论等研究蓬勃发展，使得图论(Graph Theory )在电子计算诞生前，就已经成为了重要的数学研究领域。

随着计算机的出现和机器计算时代的到来和发展，图作为一种能够有效且抽象地表达信息和数据中的实体以及实体之间关系的重要数据结构被广泛应用，图数据库有效解决了传统的关系型数据结构面对大量复杂的数据所暴露出的建模缺陷多、计算速度慢等问题，图数据库也成为了非常热门的研究领域。图结构(Graph-structured Data)]可以将结构化数据点通过边的形式，依照数据间的关系将不同类型和结构的数据节点连接起来，因而被广泛地应用在数据的存储、检索以及计算应用中。基于图结构数据，知识图谱[4-7}可以通过点和边的语义关系，来实现精确地描述现实世界中实体之间的关联关系，作为人工智能非常重要的研究领域，知识图谱的研究方向包括知识抽取、知识推理、知识图谱可视化等。图计算(Graph Computing)具有数据规模量大、局部性低、计算性能高等特性，图计算算法}s-}}主要可以分为路径搜索算法、中心性算法、社群发现算法等三类，实现了在关系复杂型的大规模数据上高时效性和准确度的表现，在社交网络、团体反欺诈和用户推荐等领域有着重要的应用。

与已经非常成熟图计算不同，图神经网络( Graph Neural Network)的研究主要是集中在相邻节点信息的传播与聚合上，从图神经网络的概念提出，到受深度学习中卷积神经网络的启发，2013年提出的基于图论的图卷积神经网络研究方向吸引了大量学者关注。2018年DeepMind提出图网络(Graph NeW ork) flz}的概念，希望能够将深度学习端到端的学习方式与图结构关系归纳推理的理论结合解决深度学习无法处理关系推理的问题。针对图神经网络存在的问题，不同的学者们也给出了不同的方案，随着对图神经网络这一新兴领域更加深入的研究与探索，人工智能领域的版图将得到更大扩展。

文献[12]在关系归纳偏置和深度学习的研究基础上，提出了面向关系推理的图网络概念并进行了综述，但未对不同图网络技术进行分类和对比。文献[13]从半监督、无监督方法的角度对图结构上的深度学习进行了综述，但缺少相近的分类和应用的讨论。文献[14]主要从传播规则、网络结构等角度分析了图神经网络的不同模型以及应用。文献[15]则是详细对比了时域和空间的不同图卷神经网络方法结构，但没有对图神经网络之于深度学习领域的探讨，如图强化学习、图迁移学习等。本文针对图神经网络，分析对比了六种图神经网络方法的优劣，首次对处理异构图数据的图神经网络技术进行了讨论和研究，综述了五类图神经网络的研究领域，并对未来的发展方向进行了展望。

02

图结构

2.1 图结构定义

图神经网络所处理的数据为在欧氏空间内特征表示为不规则网络的图结构数据，这里定义基本的图结构为:   

其中图G由数据节点集合   

连接节点集合。

映射到高维特征空间

所得到的邻接矩阵通过下图表示

表示邻接矩阵Aij中的元素。

2.2 不同的图结构

从图的构成上来进行区分，图结构主要可以分为空间和时间两个角度。空间上图结构的变化可以从节点和边来进行区分，如边异构的有向图、权重图和边信息图，以及节点异构图。时间上引入节点在时序变化中的差异从而形成了时空图结构。图1中对着五种典型的图结构示例进行了对比展示，表1中对不同图结构的结构特征、图模型和应用场景进行了总结和梳理。

1)有向图是指在图结构中，连接节点之间的边包含指向性关系，即节点之间的关联就包含了方向的传递性关系，对于图神经网络而言，这种传递关系和深度学习神经网络神经元中信号传递的结构近似，有向图的输入是各个节点所对应的参数。

针对单向图的处理方式，Niepert等人[16]提出了适用于有向图得无监督判断不同节点标签方式的理论。而就可能存在的双向关系，Kampffmeyer等人[17]在利用知识图谱解决零样本学习的方法中提出了通过双向权重对应的双向邻接矩阵表示双向关系，从而实现给神经网络传递更多的信息。

2)权重图是指图结构中的边包含权重信息，可以有效地描述节点之间相互作用的可靠程度，定量地表现关系的连接程度。对于权重图的处理，Duan等人[18]提出了通过对动态权重有向图进行归一化处理，利用节点之间的关联关系权重动态实现了信息挖掘的方法。

3)边信息图是对于存在不同结构边的图结构，节点之间的关联关系可以包含权重、方向以及异构的关系，比如在一个复杂的社交网络图中，节点之间的关联关系既可以是单向的关注关系，也可以是双向的朋友关系。

对于包含复杂边信息的图结构而言，复杂的关联关系不能直接通过简单的权重约束来表示，G2S[19]提出了一种将原始图转换成二分图的方式，在处理自然语言处理任务中，将每一个词节点之间的关联关系采用独立分开编码方式，从而大幅提升了语义理解的效率。

4)节点异构图是指在图‘中的节点属于多个不同的类型的图结构，这种图结构往往可以根据异构节点的类型，对节点进行向量表示，这里可以通过独热编码等编码方式来实现节点的向量表示。MetaGraph2Vec[20]提出了一种通过元路径对异构图结构的文本进行编码的方式，这种方法根据异构节点的类型对邻居节点进行分组，可以应用于节点分类、节点聚类以及相似度搜索等问题。

5)时空图是一种属性图结构，其特点是高维特征空间f*中的特征矩阵X会随着时间而变化，这里我们定义为

图结构随着时间序列的引入，可以有效地处理包含动态和时序关系类型的任务，Yan等人[21]提出了一种基于时空图卷积神经网络的骨架运动检测方法，You等人[22]基于视频标签节点之间的邻接关系相似度，利用提出了一种多标签视频分类的图神经网络方法。

03

图神经网络

图神经网络对于非欧几里德数据在深度学习中的应用有着非常重要的地位，尤其是利用图结构在传统贝叶斯因果网络上可解释的特点，在定义深度神经网络关系可推理、因果可解释的问题上有很大的研究意义。如何利用深度学习方法对图结构的数据进行分析和推理吸引了非常多的研究和关注。

这里我们将现有的图神经网络的算法进行了总结与归纳，给出一个通用的图神经网络结构如图2所示，将图神经网络推理过程通过图节点预表示、图节点采样、子图提取、子图特征融合、图神经网络的生成和训练子过程来表示，具体步骤如下:

STEP1图节点预表示:通过图嵌入(Graph Embedding)的方法对图中每一个节点进行嵌入表示;

STEP2图节点采样:对图中每个节点或存在的节点对的正负样本进行采样;

STEP3子图提取:提取图中每一个节点的邻节点构建n阶子图，其中n表示第n层的邻节点，从而形成通用的子图结构;

STEP4子图特征融合:对每一个输入神经网络的子图进行局部或全局的特征提取;

STEPS生成图神经网络和训练:定义网络的层数和输入输出的参数，并对图数据进行网络训练。

本章将从分别频域和空间域的GCN研究的角度，对比多种图卷积神经网络[23]的差异效果和发展历程;介绍门控图神经网络[24]、利用注意力结构替代卷积的图注意力网络[25]、针对无监督模型的图自动编码器[26]以及时域空间的图时空网络[27];讨论图嵌入[28]作为图神经网络的模型结构和多种实现方式。最后对上述网络模型从聚合方式、网络基础和应用优势的角度对比分析图神经网络模型之间的差异。

3.1 图卷积神经网络

深度学习的流行与卷积神经网络的广泛适用性密不可分，图神经网络的研究中时间最长、研究成果最多的就是图卷积神经网络，从特征空间来看图卷积神经网络主要可以分为频域和空间域两个类型。

图卷积神经网络将原始图结构的数据G=(V, E)映射到一个新的特征空间

以单层向前传播图卷积神经网络为例，第i层神经网络的特征用wi表示，对于图结构中的每一个节点vi在计算时，每一层神经网络的输出H(l+1)都可以以非线性函数f(·,·)表示为

其中A为特征邻接矩阵。

通过非线性激活函数ReLU=σ(·)实现一个图卷积神经网络结构，其分层传播规则如下:

表示为图结构G= (V, E)的邻接矩阵，I为单位矩阵

表示矩阵A的对角矩阵，w(l)为第l层卷积神经网络的权重矩阵。通过分层传播规则，图卷积神经网络将卷积神经网络局部参数共享的特性带入了图结构中，使得每一个节点的感受域的光对随着传播层数的增加而得更大的提升，从而获取到更多邻节点的信息。

接下来两小节将分别从频域和空间图卷积的方向具体列举分析不同类型图卷积神经网络方法。

3.1.1 基于频域的图卷积神经网络

频域的图卷积神经网络基于图信号处理[29]问题，将图神经网络的卷积层定义为一个滤波器，即通过滤波器去除噪声信号从而得到输入信号的分类结果实际问题中只能用于处理无向且边上无信息的图结构，将输入信号的图定义为可特征分解的拉普拉斯矩阵，归一化后的特征分解可以表示为通用结构其对角矩阵A就是特征值的λi按序排列组成的特征矩阵。最早在频域实现的图卷积神经网络是由Bruna[10]等人提出定义频域图卷积神经网络的卷积层函数。将频域图卷积神经网络假设在图信号处理中的滤波器，特征分解需要至少o(n3)的计算复杂度和0 (n2)的存储空间，对于输入图数据为稀疏矩阵的场景时，可以通过随机特征分解等方法在保证精度的情况下将时间复杂度降低到0 (n2r + r3), r为近似矩阵的秩远小于n。

Henafff[30]等人提出基于插值内核(Interpolation Kernel)的图卷积神经网络方法。在频域卷积神经网络的基础上提出了无监督和有监督两种新的通过图卷积神经网络来进行推理预测的方案，从图1图神经网络通用结构中可以看出，第一步图节点的预表示可以根据数据预测相似性矩阵，这种方法也将应用场景扩充到了大规模图像和文本分类等问题中。

Dei}errad[11]等人提出了基于切比雪夫多项式的频域卷积滤波器ChebNet，其中切比雪夫多项式的组成是由特征值对角矩阵的项组成的，通过切比雪夫展开式Ti(x)替换了原始GCN中通用频域卷积滤波器g的特征分解部分，从而有效地避免了特征分解的计算部分，将计算复杂度从o(n3)降低到了o (LE),其中E为输入图G中边的数量。一阶切比雪夫图卷积神经网络[27]则是利用了一阶切比雪夫展开更好的提升网络的计算效率。针对包含复杂属性的节点异构图，可以通过图卷积神经网络来实现节点的聚类。为了提升属性图的信息提取的性能和模型的效果，Zhang等人提出了AGC[31]自适应图卷积方法，利用高阶图卷积来获取全局聚类的结构来定义k阶图卷积，从而实现了对于复杂异质图的处理。

3.1.2 基于空间的图卷积神经网络

与深度学习中卷积神经网络对图像的像素点进行卷积运算类似，基于空间的图卷积神经网络通过计算中心单一节点与邻节点之间的卷积，来表示邻节点间信息的传递和聚合，作为特征域的新节点表示。Scarselli等人[32]提出了一种利用基于相同图卷积结构的循环函数递归地实现了空间图卷积神经网络的收敛方法，该方法可以支持节点和边上分别包含特定属性契合传统卷积神经网络基本思想的方法。Dai等人[33]提出的随机稳态图神经网络迭代算法SSE通过异步随机的方式，对于每个拥有不同数量邻节点的节点而言利用双向权重矩阵w1, wz在每次卷积迭代中更新节点的特征表示。

随机稳态图神经网络不支持边上包含的信息，这里通过两个权重函数分别对全部的节点v∈VN和包含信息的节点集合v∈VN进行卷积处理，这样从而使得图卷积神经网络的迭代效率得到了提升。图结构数据中节点存在极多的关系导致参数数量过多的情况下，引入基础分解和块对角分解两种方式可以有效解决过拟合的问题。关系图卷积神经网络可以有效地应用在以节点为中心的实体分类问题和以边为中心的链接预测问题上。

AtWOOCl[34]提出的基于图结构的传播卷积神经网络DCNN通过传播卷积的方式，扩散性地扫描图结构中的每一个顶点，替代了一般图卷积神经网络基于矩阵特征的卷积形式，DCNN的参数是根据搜索深度而不是节点在图结构中的位置决定的，可以用于节点、边以及图结构等多种分类任务，但由于计算转移概率的时间复杂度较高，并不适用于大规模的图结构数据。Zhuang和Ma[35]在传播和邻接矩阵两种卷积结构的基础上提出了一种双路图卷积神经网络的方法，通过半监督图卷积[29]的和转移概率的正逐点互信息((PPMI)矩阵作为卷积运算邻接矩阵来更好提升模型的信息抽取的效果。

图卷积神经网络频域和空间两个方向分析对比如表2所示。频域图卷积神经网络主要依赖于频域矩阵的特征分解，而空间图卷积神经网络主要是借助邻节点特征信息的聚合来定义在图数据上的卷积运算。此外在最新的研究中，GCN的实现方式还包括利用子图训练组合的GraphSage[36]，基于信息传递的MPNN[37]，以及AGCN[38] MGCN[39], pinSage[40], Fast-GCN[41]等方法。同时关于图卷积神经网络优化方式也有很多研究，针对解决高阶图卷积在空间图卷积中性能较差问题，引入稀疏邻域来替代频域图卷积的MixHop[42]。

3.2 门控图神经网络

目前基于门控机制的递归神经网络机制下的图神经网络结构的研究也有不少，例如基于门控循环单元(GRU)的门控图神经网络(GGNN)[43]，通过门控循环单元控制网络传播过程中固定步数T的迭代循环来实现门控图神经网络的结构，通过节点二来建立邻节点之间的聚合信息，然后通过循环门控单元z和r实现递归过程更新每个节点的隐藏状态。

Tai等人[44]提出了基于子节点和的树状长短期记忆网络Tree-LSTM用于处理图神经网络中的语义表示问题。门控图神经网络除了基于门控循环单元和LSTM的基础模型外还有很多变种，You等人[45]利用分层循环递归网络分别生成新的节点和节点对应的边，从而将图递归神经网络应用于图生成的问题;Peng等人[46]提出了利用不同的权重矩阵，来表示不同标签的图长短神经网络结构;Ma等人[47]将时间感知LSTM与图神经网络结合，利用LSTM来更新两个关联节点和对应的邻居节点的表示，提出了动态图神经网络，更好地处理传播效应。

3.3 图注意力网络

对于图神经网络中的注意力机制，可以简单理解为借助于注意力(attention )模块取代了一般图卷积神经网络中的卷积激活器，在不同的方法中，可以结合门控信息来提升注意力机制感受域的权重参数，达到更好的推理和应用性能。

图卷积神经网络实现了对图结构数据的节点分类，而注意力机制目前在自然语言处理领域有着非常好的效果和表现。对于图注意力机制(Graph Attention Network)而言，邻居节点的特征做累加求和的过程与图卷积神经网络则完全不同，通过全局注意力机制替代了卷积分层传递的固化操作，可以有效地选择在图结构中更为重要的节点或子图、模型、路径分配更大的注意力权重。

图注意力网络中的注意力权重被表示为

对于第l层网络而言，定义节点为

是注意力模型中的节点向量

表示为一个可变化的线性变换参数

那么节点间的注意力分数就会根据注意力权重的不同进行迭代。通过和图卷积神经网络的分层传播规则的对比，图注意力网络将原本的常数参数替换为表示邻节点权重的注意力参数。

Zhang等人[49]提出了一种通过卷积子网络来控制分配权重的自我注意力机制，基于循环门控单元用于解决流量速度预测的问题。Lee等人[50]提出了结合LSTM的利用注意力机制进行图节点分类的方法，Abu-El-Haija等人[42]提出了一种注意力游走的方法，将图注意力机制应用到节点嵌入中。

现实中信息在被表示成节点和边构成的拓扑结构时往往是异构的，广义上被定义为异构信息网络(HIN)[51]，而现阶段的图神经网络方法大多是聚焦于同构图的处理分析上，对于在本文1.2节中提到的节点异构和边异构的图结构而言，更大的信息量和更复杂的网络结构带来了更大的挑战和研究价值。Xiao等人[52]提出了一种基于注意机制的异构图注意力网络，将节点和边的异构性表达为不同类型的语义信息，通过节点层的注意力来判断相同属性邻节点的重要性，同时利用语义层的注意力选择有意义的元路径，节点层利用注意力来表示不同节点i, j的重要性。图注意力网络的研究还集中在图像语义推理、上下文推理等方面。具体的，Yang等人[53]在处理通过自然语言来表示图像中的描述对象的问题时，通过抽取图像中对象之间的语义关系建立关联图结构，借助动态图注意力网络D GA来实现更好的语义推理能力。

3.4 图自动编码器

自动编码器(autoencoder)是深度神经网络中常用的一种无监督学习方式，对于图结构数据而言，自动编码器可以有效处理节点表示问题。最早的图自动编码器是由Tian等人[[54}提出的稀疏自动编码器SAE，通过将图结构的邻接矩阵表示为原始节点特征，利用自动编码器将其降低成低维的节点表示.其中稀疏自动编码的问题被转化为反向传播的最优解问题，即最小化原始传输矩阵和重建矩阵之间的最优解问题。在结构深度网络嵌入[ass}中，也将损失函数表达为邻接矩阵的形式，证明了两个具有相似邻节点的节点有相似的潜在特征表示。结构深度网络嵌入引入了类似拉普拉斯特征映射来替代目标函数。变分图自动编码器(VGAE) [56]将卷积神经网络应用到图自动编码器结构，对于非概率变体的图自动编码器，定义由随机隐藏变量zi组成的矩阵Z，那么编码器可以表示为Z = GCN(X,A)。结合结构深度网络嵌入的方法，Zhu等人[57]提出了利用高斯分布来进行节点表示的方法，并选择EM距离(Wasserstein distance) Eij作为目标损失函数，能购有效地反应他们之间的距离信息特征。

3.5 时空图神经网络

时空图神经网络作为一种引入了时间序列特征的属性图网络，可以同时获取图结构中时间和空间域的特征信息，每一个节点的特征都会随着时间的变化而变化。这里我们主要讨论在空间域采用图卷积来提取空间特征依赖的时空图神经网络结构，时域特征的获取方法主要分为传统卷积网络、门控循环网络和图卷积网络三种方法。图3中展示了图卷积神经网络、图自动编码器(以变分图卷积自动编码器为例)和时空图神经网络(以1D-CNN+GCN结构为例)的网络结构对比，三种结构的构建基础都是图卷积计算单元。

3.6 图嵌入

对于图结构的数据而言，每一个节点和边对于深度神经网络而言都是不规则的抽象的数据，而通过图嵌入(Graph Embedding)方法对节点和边赋予数值张量，就可以将图结构类比于原本深度神经网络所处理的图像数据，赋予的数值就如同图像中像素数量和像素对应的值。在实现图嵌入的算法中，最为基础的算法就是深度随机游走网络[fill，将语言模型语义理解的任务文本分词后得到词视为图结构中的节点，而连接节点的边则是通过随机游走实现。每一次随机游走所连接的节点形成的路径就是由经过单词所构成的随机句子，这样的随机图结构网络可以通过N维矩阵的形式表示出来。在如深度随机游走网络一类的随机游走网络中，其随机游走的长度往往是需要人为确认的超参数，为了解决这一问题，Abu-El-Haij a等人[62]基于深度学习的理念，提出了基于反向传播的可学习超参数，并引入了基于转移矩阵幂级数的图注意力网络结构。通过对上层目标函数的分析来优化超参数的选择，从而实现了超参的可学习性。

现阶段的空间图卷积神经网络受限于网络复杂度和节点表示的效果，往往只能用于处理同构图的问题[15]。直接将异构的关系抽象为同构图后会损失较多的特征信息。对于属性多元异构网络嵌入Chen等人提出的HGR[63]模型有效地提取了视频文本匹配任务中图数据的全局和局部特征，并且应用在抽象场景图中。

表3中从网络结构和应用场景的优势方向，具体对图神经网络结构研究进行了分析和对比。

04

图神经网络的扩展

接下来在我们将重点介绍五类基于图神经网络的延伸应用的模型结构:图生成和图对抗网络、图强化学习、图迁移学习、神经任务图和基于图神经网络的零样本学习。

4.1 图生成和图对抗网络

图生成网络的目标是基于一组可观察图来生成图。其中的很多方法都是领域特定的。例如，在分子图生成方面，一些研究将分子图的表征建模为字符串[64-65]。在自然语言处理中，生成语义图或知识图通常需要一个给定的句子[66-67]。最近，研究人员又提出了一些通用方法，主要有两个方向:其一是将生成过程看成节点或边的形成[68]，而另一些则使用生成对抗训练[69]。该领域的方法主要使用图卷积神经网络作为构造块。图信息在风险管理领域很重要，可以有效地判断两个图G和G’在分类语义下是否相等。这里选择节点只需要o(E)复杂度，而选择边需要o (E2)的计算复杂度。

4.2 图强化学习

在强化学习中，学习控制问题通常采用马尔可夫决策过程MDP，用于估计某些政策的预期长期回报。根据图中节点所表述的决策状态，利用转移概率矩阵来表示相似性矩阵。这里通过使用可学习的表示来实现线性逼近值函数，它们近似值函数为状态图上第一个拉普拉斯特征映射的线性组合。

Donnat等人[71]提出的方法采用不同的方法来学习结构节点嵌入。它基于以每个节点为中心的谱图小波的扩散来学习节点表示。图强化学习模型[72]是在上文提到的RPI是由表示学习阶段，利用原始数据集构建无向加权图预定义的。从有限数量的样本构造图结构，其派生的原始值函数并不一定能够反映基础状态空间。可以通过函数来测量图函数的全局平滑度.当来自平滑函数的值二vi,vj驻留在两个连接良好的节点上，即wij很大时，则预期它们具有小的距离，即表示图函数具有更好的平滑度。

4.3 图迁移学习

迁移学习是运用已有知识对不同但相关领域问题进行求解的一种机器学习方法。BOSCallll等人[73]提出的局部SCNN模型方法可以提取可变形状的属性。Bruna等人[ 10]提出图卷积结构的则是广义SCNN模型图迁移学习框架的一个关键组成部分，它从信号处理领域借用了傅立叶变换概念，以便将网格域中的CNN应用于图结构域。

Lee等人[74}提出的图迁移学习的方法由五个步骤组成，其中前三个步骤是根据输入生成图，并从图结构中识别独特的结构特征。最后两步是基于学习特征和图相似性应用迁移学习来进行推理。Pan和Yang[75]提出在迁移学习环境中的域由特征空间X和概率分布P(X)组成，对给定域都可以通过任务来表示具有标签的空间Y和训练数据预测函数f (')。这里迁移图GS中学习到的内在几何信息，在两个图域具有相似性结构的条件下，可以通过快速建立迁移学习T模型，利用来自异构数据集的图的谱特征，大幅提升了学习效率，最大限度地减少因新任务缺乏数据和不完善的结构信息而导致的问题。

4.4 神经任务图

对于任务图(Task Graph)}而言，其通过表示任务的组成与时序来有效地执行任务。而神经任务图网络(Neural Task Graph)]将任务图与神经网络相结合。能够更加高效的进行任务调度与学习。

通过视觉模拟学习方法，神经任务图网络将任务组合结合到中间任务的表示和策略中，在涉及多种任务，如照片渲染的模拟环境和现实世界的视频数据集中，神经任务图的表现比非结构化表示的方法以及人工设计的分层结构方法的效果更好。神经任务图显著提高了复杂任务的数据效率，并通过复合性来实现视频到任务的直接模仿。使用数据驱动的任务结构，神经任务图比学习非结构化任务表示的方法和使用强层次结构监督的方法好得多。

4.5 零样本学习图网络

图神经网络同样在零样本学习领域的图像和视频分类问题的领域有着非常重要的可应用性，其通过借助图结构中节点之间的强关联性，可以有效地泛化缺乏样本导致情况下需要生成新的分类的问题。基于知识图的零样本学习是利用现有的知识库或者知识图谱中结构化的关系信息，在未知任何样本数据的情况下，来推理学习解决分类的问题。Wang等人[78]提出的基于图卷积神经网络的零样本图像分类方法通过图卷积神经网络来处理未知权重信息的知识图，当预测未知的分类实体，基于原始标准答案的分类结果可以通过简单的均方差损失函数来实现。对于图神经网络而言，在解决零样本学习问题的过程中，当知识传播的层数较高时会造成处理效率的降低。Lee等人[79]则是提出了对于同时预测多个未知标签的的零样本学习方法，有效地解决了多分类的问题。

表4中对五种衍生图神经网络的研究工作进行了简要的概述和总结。

05

图神经网络的应用方向

图神经网络在不同的任务和所处理的时间、空间、或频谱域中，都具有广泛应用。每类图神经网络都有广泛的应用，包括节点分类，节点表示学习，图分类，图生成和时空预测，图神经网络也应用于节点聚类，链接预测等。我们将图神经网络的应用主要分为文本处理、图像处理、推荐系统、知识图谱、生物分子图、动态问题处理六个方向，具体的内容如表5所示。

5.1 图神经网络的文本应用

对于文本向量化表示而言，图神经网络可以对句子和词级别的文本进行处理，文献[25]通过密集图传播模块来实现距离较远的文本节点的关联关系表示。文献[61-62]则都是通过图嵌入的方式，来实现节点的向量化表示，用于文本词向量和句向量的推理。

文本分类领域，文献[80]利用基于双向图长短记忆网络，实现了每个文本词向量的双向状态表示，从而达到了更好文本分类效果。文献[81]通过递归正则化的方式，更有效的获取非连续的和长距离语义。

图神经网络也可以应用于文本的序列标注。对于文本图结构的词节点而言，每个节点的序列生成可以通过图生成网络的方式来实现，文献[79]提出了节点对象强化的图生成网络OR-GAN的方式来进行序列生成。文献[82]利用图长短记忆网络可以利用句法信息中文本节点间的关联关系进行建模，得到每个词节点的潜在特征用于序列标注。

关系推理是指从复杂的语义信息中提取出文字节点之间关联关系的相关研究。文献[19}提出了通过关系图卷积R-GCN的方法来完成文实体间之间关系的抽取和属性分类。文献[46]利用图长短记忆网络提出了文本序列中跨多个句子N元关系的方法。关系推理则是通过上下文中文本实体之间的关系进行任务推理，

5.2 图神经网络的图像应用

在图像分类的任务中，零样本和少样本学习的任务往往需要借助知识图谱的先验知识来提升识别效果。图神经网络有效提升知识图谱的推理效率。文献[17]中通过深度图传播的方法将异构图结构用于知识推理，利用中间节点的特征信息来优化知识的稀疏度。文献[83]则是借助图神经网络将少样本学习的任务转化为可以端到端训练的监督学习任务。

5.3 图神经网络的系统应用

对于推荐系统而言，用户与项目的关系可以构成二部图，用户与用户之间可以构成社交网络，项目与项目则可以构建知识图谱和异构图，通过图神经网络可以为用户推理出商品的重要性。文献[74]利用基于上下文的图自注意力网络实现了高性能的会话推荐。

如何构建和提升知识图谱的应用效果一直是图领域备受关注的研究方向。文献[23]利用知识图谱实现了基于知识迁移的图小样本学习方法。文献[78-79]都是通过知识图谱的推理来实现和完成图零样本学习的任务。文献[83]则是介绍了如何挖掘知识图谱实现大规模企业级应用实践。

作为生物学的研究领域，分子的构成是天然的图结构。文献[20]利用端到端的图卷积网络实现了圆形指纹的分子特征提取方法。文献[39]则是进一步将图卷积方法应用到了无向图先分子结构领域。文献[69]提出了基于图生成网络方法的分子图生成方法，可以有效模拟化学分子的合成。

5.4 图神经网络的动作检测应用

通过视频序列来实现任务预测是时序图领域的重要应用场景之一。文献[77}实现了基于共扼任务图结构的策略生成方法，实现了基于给定的演示视频推理完成未知的任务。文献[85]提出了视觉空间注意力机制的图卷积方法来完成视觉理解任务中人与对象交互定位HOI的任务。文献[21]通过时空图神经网络实现了基于骨节运动的动作检测。

06

未来发展与研究

随着图神经网络的研究和应用不断深入，其发展方向主要包括网络结构优化，理论可解释性强化·适用的数据结构丰富化的趋势，具体的未来发展方向可以归纳如下:

1)传统深度学习相比，图神经网络的研究和应用领域有很大的拓展空间，对于诸如知识图谱、推荐系统等大规模的系统性应用中，具备了迁移性·可强化性等特点，就可以对动态任务具有更加泛化的处理能力，实现将图神经网络与现阶段的深度学习更好的关联，将图结构数据加以更加完善的应用

2)深度神经网络的结构本质上是对数据不断提取高维的抽象特征，图结构的关联性特征与传统贝叶斯因果关系网络相结合，有望实现对深度学习神经网络结构可解释性的证明。

3)现阶段的图神经网络结构受限于关系型结构在高维空间特征可解释性，提升图网络深度的研究很少，而深度学习的巨大成功得益于其深层的网络结构能提取更高维度的特征信息。作为对特征信息在结构上的抽象概括，图网络也需要在节点结构关系创新的同时探索加深网络结构的方式，以实现对于高维特征信息提取的能力，提高网络性能。

4)增加图神经网络的感受域是有效提升图神经网络推理性能的研究方向。神经元的感受野可以让网络输出的特征值更好地归纳局部和全局的特征，从而实现更快的学习收敛速度和更好的网络预测效果。如何将这一特性引入图神经网络并获得优化的效果，也是需要探索的前沿领域之一。

5)在网络节点引入更多种类的数据类型，突破节点连接的先验信息来决定图神经网络的最终学习效果。更广泛的利用统计定性、离散或概率型数据，如定性、离散或概率型的数据，用图的形式引入到图网络中，可以增强图网络模型对真实数据分布的刻画能力。

6)提升图神经网络动态性和异质性，对于更多的关于复杂图结构的异质图和结合时序性动态图具有更加丰富的应用场景。

07

结束语

本文以综述和探索的角度梳理了图神经网络的发展历程，从图数据的结构对图结构进行了分类介绍，同时从信息聚合方法的不同，深入剖析了六种等不同图神经网络的差异和优劣。分析讨论了图神经网络与深度学习领域的研究方向相结合的五类研究方向以及优缺点，并对不同图神经网络技术的应用场景进行了分析介绍。根据现阶段图神经网络的发展，从网络结构的深度和复杂度、对异质图的高校分析和处理以及利用节点和边的信息传递实现神经网络的可解释等不同的研究和讨论，未来提升图神经网络的算法性能，增强可解释性以及拓宽应用领域将是非常重要的研究领域和方向。

08

总结

本篇文章概述了图神经网络的发展过程，对不同结构的图神经网络进行了介绍，图卷积、图注意力机制等，图卷积网络又有空间和频域两种。并介绍了几种图神经网络算法的优劣和应用场景。在我们的工作里，可以将图神经网络和异常检测联系在一起，制作一些图结构的网络流量数据，这些流量数据以主机为节点，如果有通信则视为有连接，但是节点包含哪些特征需要进一步研究。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”