A Comprehensive Survey on Graph Neural Networks（图神经网络综述）

 

目录

摘要

1.引言

2.定义

3.分类和框架

A.图神经网络（GNN）的分类

B.框架

4.循环图神经网络（GRN）

5.卷积图神经网络

A.基于频谱的ConvGNNs

B.基于空间的CGNN

C.图池化模型

D.理论方面的讨论

6.图自动编码器

A.网络嵌入

B.图生成

7.时空图神经网络

8.应用

A.数据集

B.基准和开源实现

C.实际应用

9.未来方向展望

10.结论：

名词解释

重要文献

---

论文地址：http://arxiv.org/pdf/1901.00596v3.pdf

摘要

       传统的机器学习任务的数据通常表示在欧里几得空间，但是越来越多的任务从非欧几里得生成数据。表现为具有复杂关系和对象之间相互依赖性的图形。而图数据的复杂性又对现有的机器学习算法提出了挑战。近年来，针对图数据扩展深度学习方法的研究越来越多。在这项调查中，我们提供了一个全面的概述图神经网络(GNNs)在数据挖掘和机器学习领域。我们提出了一种新的分类方法，将现有的图神经网络分为四类:递归图神经网络、卷积图神经网络、图自编码器和时空图神经网络。我们进一步讨论了图神经网络在各个领域的应用，总结了现有算法在不同学习任务上的开源代码和基准。最后，我们提出了这一快速发展领域的潜在研究方向。

1.引言

       最近神经网络的成功推动了对模式识别和数据挖掘的重新研究。许多机器学习任务，如对象检测，机器翻译，和语音识别，曾经严重依赖手工特征工程来提取信息功能集，最近已经发生了革命性的变化。通过各种端到端深度学习范例，即卷积神经网络（CNN）[6]，长短期记忆（LSTM）[7]和自动编码器。许多领域深度学习的成功部分归因于快速发展的计算资源（例如GPU）和大型训练数据的可用性，部分归因于深度学习从欧几里德数据中提取潜在表示的有效性（例如，图像，文字和视频）。以图像分析为例，图像可以表示为欧几里德空间中的规则网格。卷积神经网络(CNN)能够利用图像数据的移位不变性、局部连通性和组合性。因此，CNNs可以提取与整个数据集共享的有意义的局部特征，用于各种图像分析。

       虽然深度学习在欧几里德数据上取得了巨大成功，但是有越来越多的应用程序从非欧几里德域生成数据并需要进行有效分析。例如，在电子商务中，基于图形的学习系统能够利用用户和产品之间的交互来制作高度准确的推荐。在化学中，分子被建模为图形，并且需要为药物发现确定它们的生物活性。在引文网络中，论文通过引用相互联系，需要将它们分为不同的组。图数据的复杂性给现有的机器学习算法带来了重大挑战。这是因为图表数据不规则。每个图都有一个可变大小的无序节点，图中的每个节点都有不同数量的邻居，导致一些重要的操作（例如卷积），这些操作很容易在图像域中计算，但不能直接应用于图域了。此外，现有机器学习算法的核心假设是实例彼此独立。然而，对于图形数据不是这种情况，其中每个实例（节点）通过一些复杂的链接信息与其他（邻居）相关，这些链接信息用于捕获数据之间的相互依赖性，包括引用，友谊和交互。

       最近，人们越来越关注扩展图形数据的深度学习方法。在深度学习成功的推动下，研究人员借鉴了卷积网络，循环网络和深度自动编码器的思想，设计了图形神经网络的架构。为了处理图数据的复杂性，在过去几年中，重要操作的新概括和定义得到了迅速发展。例如，图1说明了一种图形卷积是如何受到标准2D卷积的启发（图1这种结构是怎么出来的？？）。本调查旨在为想要进入这个快速发展的领域的感兴趣的研究人员和想要比较图神经网络算法的专家提供这些方法的全面概述。

       图形神经网络的简史图形神经网络的符号首先在Gori等人的文章中概述 [16]。并在Micheli（2009）中进一步阐述[17]和Scarselli等人（2009）[18].这些早期的研究通过递归神经结构迭代地传播邻居信息，直到达到一个稳定的不动点，从而学习目标节点的表示。这个过程计算成本很高，最近越来越多的努力克服这些挑战[19]，[20]。在我们的调查中，我们概括了术语图神经网络来表示图数据的所有深度学习方法。

       受计算机视觉领域中卷积网络的巨大成功的启发，最近出现了大量重新定义图形数据卷积符号的方法。这些方法属于图卷积网络（GCN）的范畴。Bruna等人(2013)首次提出了关于GCNs的重要研究，该研究基于谱图理论发展了一种图卷积变体。从那时起，基于频谱的图卷积网络的改进，扩展和近似已经不断增加。由于光谱方法通常同时处理整个图形并且难以并行或扩展到大图形，因此基于空间的图形卷积网络最近迅速发展[25]，[26]，[27]，[28]。这些方法通过聚合邻居节点的信息直接在图域中执行卷积。与采样策略一起，计算可以在一批节点中执行，而不是整个图[25]，[28]，这有可能提高效率。

    除了图卷积网络之外，在过去几年中已经开发了许多替代图神经网络。这些方法包括图注意网络，图自动编码器，图生成网络和图时空网络。有关这些方法分类的详细信息，请参见第3节。

    关于图神经网络主题的现有评论数量有限。==Bronstein等人[8]使用几何深度学习的符号，给出了非欧几里德领域的深度学习方法的概述，包括图和流形。==本研究虽然是第一次对图卷积网络进行综述，但忽略了几个重要的基于空间的方法，包括[15]、[20]、[25]、[27]、[28]、[29]，这些方法更新了最新的基准。此外，这项调查并未涵盖许多新开发的架构，这些架构对图形卷积网络同样重要。本文综述了图注意网络、图自动编码器、图生成网络、图时空网络等学习范式。Battaglia和(a) 2D卷积。Analo卷积(b)图。(To get gous to a graph)为了实现对图的合子化，将图像中隐藏的每个像素表示为一个红色节点，这是一个简单的解节点，通过滤波器的大小对相邻的解节点进行deof图卷积运算。二维卷积取像素valnode的红色加权平均值及其邻域的节点特征值a。红结点的风矢与图像数据不同，它的邻居。节点的邻居的邻居是una节点是有序的，并且有一个有序的和可变的大小。固定大小。

                                                                                 图1 2D卷积和图形卷积

(下面这一段就是说其他的综述论文说的不太全)

al.[30]位置图网络作为从关系数据中学习的构件，在统一的框架下回顾部分图神经网络。然而，他们的通用框架是高度抽象的，从原始论文中失去了对每种方法的见解。李等人。 [31]对图注意模型进行了部分调查，这是一种图神经网络。最近，张等人。 [32]提供了关于图的深度学习的最新调查，遗漏了关于图生成和时空网络的研究。总之，现有的调查都没有提供图神经网络的全面概述，仅覆盖一些图卷积神经网络并检查有限数量的工作，从而忽略了替代图神经网络的最新发展，如图生成网络和图形时空网络。

图神经网络与网络嵌入的研究与图嵌入或网络嵌入密切相关，是另一个越来越受到数据挖掘和机器学习界关注的课题。网络嵌入的目的是通过保存网络拓扑结构和节点内容信息，将网络顶点表示到一个低维向量空间中，这样任何后续的图分析任务，如分类、聚类和推荐，都可以通过使用简单的现成的机器学习算法(如分类支持向量机)轻松完成。许多网络嵌入算法是典型的无监督算法，它们可以大致分为三组[33]，即、矩阵分解[39]、[40]、随机游走[41]、深度学习方法。同时网络嵌入的深度学习方法属于图神经网络，包括基于图自动编码器的算法（如DNGR [42]和SDNE [43]）和无监督训练的图卷积神经网络（如GraphSage [ 25]）。图2描述了网络嵌入和图形神经元之间的差异。图2：网络嵌入vs.图神经网络。

                                                                                         图2

本论文贡献如下：

• 针对图数据深度学习的研究越来越多，提出了一种新的图神经网络分类方法。在这个分类中，GNN可分为五组:图卷积网络、图注意网络、图自动编码器、图生成网络和图时空网络。指出了图神经网络与网络嵌入的区别，并给出了不同图神经网络结构之间的联系。
• 本调查为图形数据的现代深度学习技术提供了最全面的概述。针对每种类型的图神经网络，我们对典型的算法进行了详细的描述，并对相应的算法进行了必要的比较和总结。
• 本调查提供了丰富的图形神经网络资源，包括最先进的算法、基准数据集、开放源代码和实际应用。这项调查可以作为理解、使用和开发不同的深度学习方法以适应各种实际应用的实践指南。
• 本研究还强调了现有算法的局限性，并指出了这一快速发展领域的可能方向。

       我们调查的组织这次调查的其余部分组织如下。第2节定义了一系列与图形相关的概念。第3节阐述了图神经网络的分类。第4节和第5节概述了图神经网络模型。第6节介绍了跨不同领域的应用程序。第7节讨论了当前的挑战并提出了未来的方向。第8节对本文进行总结。

                                                                                    图3 图神经网络的分类

2.定义

在本节中，我们提供了基本图形概念的定义。为便于检索，我们总结了表1中常用的符号。

定义1（图）。图是G = ，其中V是节点集，E是边集，A是邻接矩阵。在图中，让

表示节点，表示边。邻接矩阵A是矩阵，如果则为，如

果是则为。节点的程度是连接到它的边的数量。图可以与节点属性X 1相关联，其中是具有的特征矩阵，其表示的特征向量。在的情况下，我们用X替换以表示图的特征向量。

定义2（有向图）：有向图是所有边从一个节点指向另一个节点的图。无向图被认为是有向图的特例，其中如果连接了两个节点，则存在具有反向的一对边。有向图的邻接矩阵可以是不对称的，即。无向图的邻接矩阵是对称的，即。

定义3（空间 - 时间图）：时空图是属性图，其中节点输入随时间动态变化。空间 - 时间图被定义为 = 和。

3.分类和框架

        在本节中，我们提出了图神经网络（GNN）的分类，如表II所示。我们将图神经网络（GNN）分类为循环图神经网络（RecGNN），卷积图神经网络（ConvGNN），图自动编码器（GAE）和时空图神经网络（STGNN）。（图和GAN可以结合吧？？）图2给出了各种架构模型的示例。在下文中，我们将简要介绍每个类别。

A.图神经网络（GNN）的分类

      循环图神经网络（RecGNNs）主要是图神经网络的先驱。RecGNN旨在通过循环神经架构学习节点表示。他们假设图中的节点不断地与其邻居交换信息/消息，直到达到稳定均衡。

      表二:图神经网络分类及代表性文献。RecGNNS在概念上很重要，并启发了后来对卷积图神经网络的研究。特别是基于空间的卷积图神经网络继承了信息传播/消息传递的思想。 

                                                                                         表2

            卷积图神经网络（ConvGNN）概括了从网格数据到图形数据的卷积运算。主要思想是通过聚合其自身的特征和邻居的特征（）来生成节点v的表示。与RecGNN不同，ConvGNN堆叠多个图卷积层以提取高级节点表示。ConvGNNs在构建许多其他复杂的GNN模型中发挥着核心作用。图2a显示了用于节点分类的ConvGNN。图2b演示了用于图表分类的ConvGNN。

            图数据自动编码器(GAEs)是一种无监督学习框架，它将节点/图数据编码到一个潜在的向量空间中，并根据编码信息重构出图数据。使用GAEs学习网络嵌入和图生成分布。对于网络嵌入，GAEs主要通过重构图的结构信息(如图的邻接矩阵)来学习潜在节点表示。对于图的生成，有些方法是一步一步地生成图的节点和边，而有些方法是一次输出一个图。图2c给出了用于网络嵌入的GAE。

            时空图神经网络（STGNN）旨在从空间 - 时间图中学习隐藏模式，这在各种应用中变得越来越重要，例如交通速度预测[72]，驾驶员机动预测[73]和人类行为识别[ 75。STGNN的关键思想是同时考虑空间依赖性和时间依赖性。许多当前方法集成图形卷积以捕获与RNN或CNN的空间依赖性以模拟时间依赖性。图2d示出了用于时空图预测的STGNN。

B.框架

            使用图形结构和节点内容信息作为输入，GNN的输出可以使用以下机制之一关注不同的图形分析任务：

• 节点级输出与节点回归和分类任务相关。RecGNN和ConvGNN可以通过信息传播/图形卷积提取高级节点表示。使用多感知器或一个softmax层作为输出层，GNN能够以端到端的方式执行节点级任务。
• 边缘级输出与边缘分类和链接预测任务相关。利用两个节点在GNNs中的隐藏表示作为输入，利用相似函数或神经网络来预测边缘的标记/连接强度。
• 图表级输出与图表分类任务相关。为了在图级上获得紧凑的表示，GNN通常与池化和读出操作相结合。
• 训练框架。许多GNN（例如，ConvGNN）可以在端到端学习框架内以（半）监督或纯无监督的方式进行训练，这取决于手头可用的学习任务和标签信息。
• 用于节点级分类的半监督学习。给定一个单独的网络，部分节点被标记，其他节点保持未标记，ConvGNNs可以学习一个健壮的模型，有效地识别未标记节点[22]的类标签。为此，可以通过叠加两个图卷积层和一个softmax层来构建一个端到端的框架，用于多类分类。
• 图级分类的监督学习。图级分类旨在预测整个图[52]、[54][78]、[79]的类标签。此任务的端到端的学习可以通过图形卷积层、图形池化层和/或读取层的组合来实现。图卷积层负责精确的高级节点表示，而图池层则扮演向下采样的角色，每次将每个图粗化为一个子结构。读取层将每个图的节点表示折叠为一个图表示。通过将多层感知器和softmax层应用于图的表示，我们可以构建一个端到端的图分类框架，图2b给出了一个例子。
• 图嵌入的无监督学习。当图中没有可用的类标签时，我们可以学习在端到端框架中以完全无监督的方式嵌入的图。这些算法以两种方式利用边缘级信息。一种简单的方法是采用一种自动编码器框架，编码器利用图形卷积层将图形嵌入潜在表示中，然后利用解码器重构图形结构[61]，[62]。另一种流行的方法是采用负抽样方法，即对节点对的一部分进行抽样，作为负对，而图中已有节点对的链接是正对。然后在卷积层之后应用逻辑回归层进行端到端学习[42]。

 

图2：使用图形卷积层构建的不同图形神经网络模型。术语Gconv表示图卷积层（例如，GCN [22]）。术语MLP表示多层感知器。术语CNN表示标准卷积层。

图2a

              （a） 一个具有多个图卷积层的卷积n。图卷积层通过聚合来自相邻节点的特征信息来封装每个节点的隐藏表示。对特征集合后的输出进行非线性变换。通过叠加多层，每个节点的最终隐藏表示将接收来自更远的邻居的消息。

 

图2b

           （b）一个具有池化和读取层的对流图分类[21]。图卷积层之后是池化层，将图粗化为子图，这样粗化后的图上的节点表示表示更高的图级表示。读取层通过计算子图的隐藏表示的和/平均值来总结最终的图形表示。

 

图2c

 

        （c）用于网络嵌入的GAE [61]。编码器使用图形卷积层来获得每个节点的网络嵌入。解码器在给定网络嵌入的情况下计算成对距离。在应用非线性激活函数之后，解码器重建图形邻接矩阵。通过最小化真实邻接矩阵和重建的邻接矩阵之间的差异来训练网络。

 

图2d

          （d）用于时空图预测的STGNN [74]。图形卷积层之后是1D-CNN层。图形卷积层在A和上操作以捕获空间依赖性，而1D-CNN层沿时间轴在X上滑动以捕获时间依赖性。输出层是线性变换，为每个节点生成预测，例如下一个时间步的未来值。

 

             在表III中，我们总结了代表性RecGNN和ConvGNN的主要特征。在各种模型之间比较输入源，汇集层，读出层和时间复杂度。

4.循环图神经网络（GRN）

          循环图神经网络（RecGNNs）主要是GNN的先驱作品。它们在图中的节点上循环应用相同的参数集，以提取高级节点表示。受计算能力的限制，早期的研究主要集中在有向无环图[13]，[80]。由Scarselli等人提出的图神经网络（GNN * 2）。扩展先前的递归模型以处理一般类型的图，例如，非循环，循环，定向和无向图[15]。基于信息扩散机制，GNN *通过周期性地交换邻域信息来更新节点的状态，直到达到稳定的均衡。节点的隐藏状态通过以下方式反复更新

其中是参数函数，是随机初始化的。求和操作使GNN *适用于所有节点，即使邻居的数量不同并且没有邻域排序。为了确保收敛，循环函数必须是一个收缩映射，它会缩小映射后两点之间的距离。在是神经网络的情况下，必须对Jacobian参数矩阵施加惩罚项。当满足收敛标准时，最后一步节点隐藏状态被转发到读取层。GNN *交替节点状态传播的阶段和参数梯度计算的阶段以最小化训练目标。该策略使GNN *能够处理循环图。在后续工作中，图形回声状态网络（GraphESN）[16]扩展了回声状态网络以提高效率。GraphESN由编码器和输出层组成。编码器随机初始化，无需培训。它实现了收缩状态转换函数，以反复更新节点状态，直到全局图状态达到收敛。然后，通过将固定节点状态作为输入来训练输出层。

           门控图神经网络(GGNN)[17]采用门控递归单元(GRU)[81]作为递归函数，将递归减少到固定的步长。其优点是不再需要约束参数来确保收敛。

（由于GNN用于表示调查中的宽泛的图神经网络，因此我们将此特定方法命名为GNN *以避免歧义。）

 

          节点隐藏状态由其先前的隐藏状态及其相邻的隐藏状态更新，定义为

。与GNN *和GraphESN不同，GGNN使用反向传播时间（BPTT）算法来学习模型参数。这对于大图来说可能是会出现问题的，因为GGNN需要在所有节点上多次运行循环函数，要求将所有节点的中间状态存储在存储器中。（GGNN可能不适用于大图）

           随机稳态嵌入（SSE）提出了一种学习算法，该算法对大型图更具可扩展性[18]。SSE以随机和异步的方式周期性地更新节点隐藏状态。替代地，它采样用于状态更新的一批节点和用于梯度计算的一批节点。为了保持稳定性，SSE的递归函数定义为历史状态和新状态的加权平均值，其形式为

              其中α是超参数，是随机初始化的。虽然在概念上很重要，但SSE的稳定节点状态的收敛标准没有在[18]中具体说明。

图3 （a）

                                 （a）循环图神经网络（RecGNNs）。 RecGNN在更新节点表示中使用相同的图复现层（Grec）。

图3（b）

                                （b）卷积图神经网络（ConvGNN）。ConvGNN在更新节点表示时使用不同的图卷积层（Gconv）。

5.卷积图神经网络

         卷积图神经网络（ConvGNN）与递归图神经网络密切相关。ConvGNN而不是使用收缩约束来迭代节点状态，而是在结构上使用固定数量的层（在每一层中具有不同的权重）来解决循环的相互依赖性。图3说明了这一主要区别。由于图卷积更加有效且易于与其他神经网络进行合成，因此，ConvGNN的普及近年来已迅速增长。ConvGNN分为两类，基于频谱的和基于空间的。基于频谱的方法通过从图信号处理的角度引入滤波器来定义图卷积[82]，其中图卷积运算被解释为消除图信号中的噪声。基于空间的方法通过信息聚合从RecGNN继承思想，以定义图卷积。自从GCN [22]弥合了基于频谱的方法与基于空间的方法之间的差距以来，基于空间的方法由于其引人注目的效率，灵活性和通用性而迅速发展。

A.基于频谱的ConvGNNs

     背景基于频谱的方法在图形信号处理中具有坚实的数学基础[82]，[83]，[84]。他们假设图表是无向的。无向图的稳健数学表示是归一化图拉普拉斯矩阵，定义为，其中D是节点度的对角矩阵。归一化图拉普拉斯矩阵具有实对称半正定的性质。利用该属性，归一化的拉普拉斯矩阵可以被分解为，其中是由特征值排序的特征向量的矩阵，并且Λ是特征值（频谱）的对角矩阵，。归一化拉普拉斯矩阵的特征向量形成正交空间，用数学词。在图形信号处理中，图形信号是图形的所有节点的特征向量，其中是节点的值。对信号x的傅里叶变换图被定义为，逆图傅里叶变换被定义为，其中表示来自图傅里叶变换的结果信号。图形傅里叶变换将输入图形信号投影到标准化空间，其中基础由标准化图拉普拉斯算子的特征向量形成。变换信号的元素是新空间中图形信号的坐标，因此输入信号可以表示为，这正是逆图傅立叶变换。现在输入信号x与滤波器的图形卷积定义为

其中⊙表示Hadamard产品。如果我们将滤波器表示为，那么光谱图卷积就会简化为

基于光谱的ConvGNN都遵循这个定义。关键的区别在于选择过滤器。

         频谱卷积神经网络（频谱CNN）[19]假设滤波器是一组可学习的参数，并考虑了具有多个通道的图形信号。
频谱CNN的图卷积层定义为 

          其中k是层索引，H（k-1）2 Rn×fk-1是输入图信号，H（0）= X，fk-1是输入通道数，fk是输出通道数，Θ（i; jk-1）是一个充满可学习参数的对角矩阵。由于拉普拉斯矩阵的特征分解，光谱CNN面临三个限制。首先，对图的任何扰动都会导致本征基的变化。其次，学习的过滤器是域相关的，这意味着它们不能应用于具有不同结构的图。第三，特征分解需要O（n3）计算复杂度。在后续工作中，ChebNet [21]和GCN [22]通过进行一些近似和简化将计算复杂度降低到O（m）。

            Chebyshev谱CNN（ChebNet）[21]通过特征值对角矩阵的Chebyshev多项式逼近滤波器，即，其中 。Chebyshev多项式由以和递归地定义。结果，图形信号x与定义滤波器的卷积是

                。作为对光谱CNN的改进，ChebNet定义的滤波器在太空中定位。学习的权重可以在图表中的不同位置共享。ChebNet的光谱线性映射到。CayleyNet [23]进一步应用Cayley多项式，它是参数有理复合函数，用于捕获窄频带。CayleyNet的频谱图卷积定义为

            其中返回复数的实部，是一个实数系数，是一个复数系数，i是虚数，h是控制Cayley滤波器频谱的参数。在保留空间局部性的同时，CayleyNet显示ChebNet可以被视为CayleyNet的特例。

       最近的几项工作通过探索替代对称矩阵对GCN [22]进行了改进。自适应图形卷积网络（AGCN）[40]学习由图形邻接矩阵未指定的隐藏结构关系。它通过可学习的距离函数构造所谓的残差图邻接矩阵，该函数将两个节点的特征作为输入。双图卷积网络（DGCN）[41]引入了双图卷积结构（之后看一下大致是个什么东西？？？），其具有两个并行的图卷积层。虽然这两个层共享参数，但它们使用归一化邻接矩阵和由随机遍历中的节点共现导出的归一化正向点互信息（PPMI）矩阵。通过对来自双图卷积层的输出进行集成，DGCN捕获局部和全局结构信息，而无需堆叠多个图卷积层。

B.基于空间的CGNN

由于传统CNN在图像上的卷积运算，基于空间的方法基于节点的空间关系来定义图形卷积。图像可以被视为图形的特殊形式，每个像素代表一个节点。每个像素直接连接到其附近的像素，如图1a所示。使用窗口，每个节点的邻域是其周围的八个像素。然后通过获取每个通道上的中心节点及其邻居的像素值的加权平均值，将滤波器应用于该补丁。类似地，基于空间的图卷积将中心节点的表示与其邻居的表示进行卷积，以导出中心节点的更新表示，如图1b所示。从另一个角度来看，基于空间的ConvGNN与RecGNN共享信息传播/消息传递的相同概念。空间图卷积运算实质上沿边传播节点信息。

图形神经网络（NN4G）[24]是基于空间的ConvGNN的第一项工作。NN4G通过直接汇总节点的邻域信息来执行图卷积。它还会应用剩余连接和跳过连接以存储每个层上的信息。结果，NN4G通过以下方式导出其下一层节点状态 

其中是激活函数和。公式13也可以以矩阵形式编写：

它类似于GCN的形式[22]。主要区别在于NN4G使用非标准化邻接矩阵，这可能会导致数值不稳定性问题。语境图马尔可夫模型（CGMM）[47]提出了一种基于NN4G的概率模型。在保持空间局部性的同时，CGMM具有概率可解释性的好处。

扩散卷积神经网络（DCNN）[25]将图形卷积视为扩散过程。它假设信息以一定的转移概率从一个节点传输到其相邻节点之一，以便信息分布在几轮之后达到平衡。 DCNN将扩散图卷积定义为

其中是激活函数，计算概率转移矩阵。注意，在DCNN中，隐藏表示矩阵保持与输入特征矩阵X相同的维度，并且不是其先前隐藏表示矩阵的函数。DCNN将连接在一起作为最终模型输出。由于扩散过程的平稳分布是概率转移矩阵的幂级数的总和，扩散图卷积（DGC）[72]在每个扩散步骤而不是级联上求和输出。它定义了扩散图卷积

PGC-DGCNN [46]基于最短路径增加远距离邻居的贡献。它定义了最短路径邻接矩阵。如果从节点v到节点u的最短路径长度为j，则否则为0。使用超参数r来控制接收字段大小，PGCDGCNN引入了图形卷积操作。

最短路径邻接矩阵的计算可能很昂贵。分区图卷积（PGC）[75]基于不限于最短路径的某些标准将节点的邻居划分为Q个组。PGC根据每个组定义的邻域构造Q邻接矩阵。然后，PGC将GCN [22]与不同的参数矩阵应用于每个邻居组并对结果求和：

              消息传递神经网络（MPNN）[27]概述了基于空间的ConvGNN的一般框架。它将图形卷积视为消息传递过程，其中信息可以直接沿着边缘从一个节点传递到另一个节点。MPNN运行K步消息传递迭代以使信息进一步传播。

             然而，图同构网络（GIN）[57]发现，在MPNN框架下的方法无法基于生成的图嵌入来区分不同的图结构。为了修正这个缺点，GIN通过可学习的参数调整中心节点的权重。它通过执行图形卷积

                                                                                            图4 不同图形的结构

            由于节点的邻居数量可以从一千到一千甚至更多，因此无法获取节点邻域的全部大小。GraphSage [42]采用抽样来获得每个节点固定数量的邻居。

             图注意力网络（GAT）[43]假设相邻节点对中心节点的贡献既不像GraphSage [42]那样相同，也不像GCN [22]那样预先确定（这种差异如图4所示）。GAT采用注意机制来学习两个连接节点之间的相对权重。

             虽然GAT假设注意力头的贡献相等，但门控注意网络（GAAN）[48]引入了一种自我关注机制，该机制计算每个注意力头的额外注意力得分。除了在空间上应用图注意外，GeniePath [55]进一步提出了一种类似LSTM的门控机制来控制图卷积层的信息流。还有其他图形注意模型可能会引起关注[88]，[89]。但是，它们不属于ConvGNN框架。

             混合模型网络（MoNet）[44]采用不同的方法为节点的邻居分配不同的权重。它引入节点伪坐标以确定节点与其邻居之间的相对位置。一旦知道两个节点之间的相对位置，权重函数就将相对位置映射到这两个节点之间的相对权重。以这种方式，图形滤波器的参数可以在不同位置共享。在MoNet框架下，现有几种流形方法，如Geodesic CNN（GCNN）[90]，各向异性CNN（ACNN）[91]，Spline CNN [92]，以及GCN [22]，DCNN [25]等图表。可以通过构造非参数权重函数来推广为MoNet的特殊实例。MoNet还提出了一个具有可学习参数的高斯核，以自适应地学习权重函数。

             另一类独特的方法是，根据某些标准对节点的邻居进行排名，并将每个排名与可学习的权重相关联，从而实现不同位置的权重分配。PATCHY-SAN [26]根据每个节点的图标签对它们的邻居进行排序，并选择前q个邻居。图标签本质上是节点分数，可以通过节点度，中心度，Weisfeiler-Lehman颜色[93]，[94]等得出。由于每个节点现在都有固定数量的有序邻居，因此可以将图结构化数据转换为网格结构的数据。PATCHY-SAN应用标准的一维卷积滤波器来汇总邻域特征信息，其中滤波器权重的顺序与节点邻居的顺序相对应。PATCHY-SAN的排序标准仅考虑图形结构，这需要大量计算才能进行数据处理。大型图卷积网络（LGCN）[45]根据节点特征信息对节点的邻居进行排名。对于每个节点，LGCN都会组装一个由其邻域组成的特征矩阵，并沿每一列对该特征矩阵进行排序。排序后的特征矩阵的前q行被用作中心节点的输入数据。

            训练效率方面的改进通常需要训练ConvGNN（例如GCN [22]）将整个图形数据和所有节点中间状态保存到内存中。ConvGNN的全批次训练算法明显受到内存溢出问题的困扰，尤其是当一个图包含数百万个节点时。为了节省内存，GraphSage [42]提出了一种针对ConvGNN的批量训练算法。它通过以固定的样本大小按K步递归扩展根节点的邻域来对植根于每个节点的树进行采样。对于每棵采样树，GraphSage通过从下到上分层汇总隐藏节点表示来计算根节点的隐藏表示。

            使用图形卷积网络快速学习（快速GCN）[49]为每个图形卷积层采样固定数量的节点，而不是像GraphSage那样为每个节点采样固定数量的邻居[42]。它将图形卷积解释为概率测度下节点嵌入函数的整体变换。采用蒙特卡罗近似和方差减少技术来促进训练过程。由于FastGCN为每个层独立地采样节点，因此层间连接可能是稀疏的。黄等人[51]提出了一种自适应的逐层采样方法，其中下层的节点采样以最上层的方式为条件。与FastGCN相比，该方法以采用更复杂的采样方案为代价实现了更高的精度。

            在另一项工作中，图卷积网络的随机训练（StoGCN）[50]使用历史节点表示作为控制变量，将图卷积的接受域大小减小到任意小比例。即使每个节点有两个邻居，StoGCN仍可实现可比的性能。但是，StoGCN仍必须保存所有节点的中间状态，这对于大型图形来说是消耗内存的。

            Cluster-GCN [58]使用图聚类算法对子图进行采样，并对所采样的子图中的节点执行图卷积。由于邻域搜索也被限制在采样的子图中，因此Cluster-GCN能够处理更大的图并同时使用更少的时间和更少的内存使用更深的体系结构。对于现有的ConvGNN训练算法，ClusterGCN特别提供了时间复杂度和内存复杂度的直接比较。我们根据表IV分析其结果。

             在表IV中，GCN [22]是进行批量训练的基线方法。GraphSage以牺牲时间效率为代价来节省内存。同时，随着K和r的增加，GraphSage的时间和内存复杂度呈指数增长。Sto-GCN的时间复杂度最高，并且内存瓶颈仍未解决。但是，Sto-GCN可以以很小的r获得令人满意的性能。Cluster-GCN的时间复杂度与基线方法相同，因为它没有引入冗余计算。在所有方法中，ClusterGCN实现了最低的内存复杂性。

            光谱和空间模型之间的比较：频谱模型在图形信号处理中具有理论基础。通过设计新的图形信号滤波器（例如Cayleynets [23]），理论上可以构建新的ConvGNN。但是，由于效率，通用性和灵活性问题，与频谱模型相比，空间模型更为可取。首先，频谱模型的效率不如空间模型。光谱模型要么需要执行特征向量计算，要么需要同时处理整个图形。空间模型对大型图更具可伸缩性，因为它们通过信息聚合在图域中直接执行卷积。可以在一批节点而不是整个图中执行计算。其次，依赖于图傅立叶基础的光谱模型不能很好地推广到新图。他们假设一个固定的图。对图的任何扰动都会导致本征基的变化。另一方面，基于空间的模型在每个权重可以在其上的节点上本地执行图卷积。 在不同的位置和结构之间轻松共享。第三，基于频谱的模型仅限于在无向图上运行。基于空间的模型更灵活地处理多源图输入，例如边输入[15]，[27]，[86]，[95]，[96]，有向图[25]，[72]，有符号图[97]]和异构图[98]，[99]，因为这些图输入可以轻松地合并到聚合函数中。

           表IV：ConvGNN训练算法的时间和内存复杂度比较（由[58]总结）。n是节点总数。m是边的总数。K是层数。s是批处理大小。r是每个节点被采样的邻居数。为了简单起见，节点隐藏特征的尺寸保持不变，用d表示。

C.图池化模型

        在GNN生成节点功能之后，我们可以将它们用于最终任务。但是直接使用所有这些特征在计算上具有挑战性，因此需要采用下采样策略。根据目标及其在网络中扮演的角色，该策略给出了不同的名称：（1）池化操作旨在通过对节点进行下采样来减小参数的大小，以生成更小的表示，从而避免过度配置，排列不变性和计算复杂性问题; （2）读出操作主要用于基于节点表示生成图级表示。他们的机制非常相似。在本章中，我们使用池来指代应用于GNN的各种下采样策略。

         在一些较早的工作中，图粗化算法使用特征分解来基于图的拓扑结构来粗化图。但是，这些方法存在时间复杂性问题。Graclus算法[100]是特征分解的替代方法，用于计算原始图的聚类版本。最近的一些工作[23]将其作为池操作来粗化图。

         如今，平均值/最大值/总和池是实现下采样的最原始有效的方法，因为计算池化窗口中的均值/最大值/总和值很快：

          其中K是最后一个图卷积层的索引。Henaff等人的研究[20]表明，在网络开始时执行简单的最大/均值池对于降低图域中的维数并降低昂贵的图傅里叶变换操作的成本尤为重要。此外，一些作品[17]，[27]，[46]也使用注意机制来增强均值/总和。

          即使有了注意机制，约简操作仍然效率低下，并且忽略了节点排序的影响。Vinyals等。[101]提出了Set2Set方法来减少订单影响。它首先将输入数据嵌入到存储向量中，然后将该向量馈入LSTM中进行更新。经过几次迭代后，将生成对输入不变的最终嵌入。

           Defferrard等[21]通过优化最大/最小池合并并在他们的方法ChebNet中设计有效的合并策略，以另一种方式解决了这个问题。输入图首先由Graclus算法处理。粗化之后，输入图的节点及其粗化版本将在平衡的二叉树中进行重组。在最粗糙的层次上任意排序节点，并在平衡二叉树中将其传播到较低层次，最后在最底层产生规则的排序。合并这样重新布置的信号比合并原始信号要有效得多。

           张等人 [52]建议DGCNN使用一个名为SortPooling的类似池策略，它通过将节点重新排列为有意义的顺序来执行池化。与ChebNet [21]不同，DGCNN根据图中的结构角色对节点进行排序。来自空间图卷积的图的无序节点特征被视为连续的WL颜色[93]，然后它们用于对节点进行排序。除了对节点特征进行排序之外，它还通过截断/扩展节点特征矩阵将图形大小统一为q。如果，则删除最后一个行，否则添加零行。该方法对于节点排列是不变的，因此增强了ConvGNN的性能。

         上述汇集方法主要考虑图形特征，忽略图形的结构信息。最近，提出了一种可微分池（DiffPool）[54]，它可以生成图的层次表示。与之前的所有粗化方法相比，DiffPool不是简单地在图中聚类节点，而是在层k学习集群分配矩阵S，称为，其中是层的节点数。矩阵中的概率值是基于节点特征和拓扑结构生成的

         其核心思想是学习综合节点分配，同时考虑图的拓扑和特征信息，因此可以使用任何标准ConvGNN实现等式25。然而，DiffPool的缺点是它在汇集后生成密集图形，之后计算复杂度变为。

         最近，提出了SAGPool [102]方法，该方法考虑节点特征和图形拓扑，并以自我关注的方式学习池。

        总体而言，池化是减少图形大小的基本操作。如何提高汇集的有效性和计算复杂性仍然是一个悬而未决的问题。

D.理论方面的讨论

我们从不同的角度讨论了图神经网络的理论基础。 

          接受域的形状：节点的接受域是有助于确定其最终节点表示形式的一组节点。当组合多个空间图卷积层时，节点的接受场每次向其远邻前进一个步骤。Micheli等。[24]证明存在有限数量的空间图卷积层，使得对于每个节点，节点v的接受域覆盖了图中的所有节点。结果，ConvGNN能够通过堆叠局部图卷积层来提取全局信息。

         VC维度：VC维是模型复杂度的度量，定义为模型可以粉碎的最大点数。分析GNN的VC维度的工作很少。给定模型参数p的数量和节点n的数量，Scarselli等人。[103]推论，如果GNN * [15]的VC维使用S形或切线双曲线激活，则为；如果它使用分段多项式激活函数，则为O（p2n）。该结果表明，如果使用S型或切线双曲线激活，则GNN * [15]的模型复杂度会随着p和n迅速增加。

         图同构：如果两个图在拓扑上是相同的，则它们是同构的。鉴于两个非同构图和，Xu等人。 [57]证明如果GNN将和映射到不同的嵌入，这两个图可以通过同构的Weisfeiler-Lehman（WL）检验识别为非同构[93]。他们表明，常见的GNN如GCN [22]和GraphSage [42]无法区分不同的图结构。徐等人。 [57]进一步证明了如果GNN的聚合函数和读出函数是单射的，那么GNN在区分不同图形时最多与WL测试一样强大。

        等效性和不变性：GNN在执行节点级任务时必须是一个等变函数，在执行图级任务时必须是一个不变函数。对于节点级任务，让为GNN，Q为任何更改节点顺序的置换矩阵。如果满足，则GNN是等变的。对于图级任务，请使用。如果满足，则GNN是不变的。为了实现等价或不变性，GNN的组件必须对节点排序不变。Maron等人。 [104]理论上研究了图数据的置换不变和等变线性层的特征。

         通用逼近：众所周知，具有一个隐藏层的多感知器前馈神经网络可以逼近任何Borel可测函数[105]。很少研究GNN的通用逼近能力。Hammer等。[106]证明了级联相关可以近似结构化输出的函数。Scarselli等。[107]证明RecGNN [15]可以近似任何函数，该函数可以将展开等价性保持到任何精度。如果两个节点的展开树相同，则两个节点的展开等价，其中节点的展开树是通过以一定深度迭代扩展节点的邻域来构造的。徐等。[57]表明，在消息传递框架下的ConvGNN [27]不是在多集上定义的连续函数的通用逼近器。Maron等。[104]证明了不变图网络可以近似图上定义的任意不变函数。

6.图自动编码器

         图形自动编码器（GAE）是深度神经架构，其将节点映射到潜在特征空间并解码来自潜在表示的图形信息。GAE可用于学习网络嵌入或生成新图形。表V总结了所选GAE的主要特征。在下文中，我们从网络嵌入和图形生成两个角度对GAE进行了简要回顾。

A.网络嵌入

       网络嵌入是节点的低维矢量表示，其保留节点的拓扑信息。GAE使用编码器学习网络嵌入以提取网络嵌入并使用解码器强制网络嵌入以通过重建正向点互信息矩阵（PPMI）[59]，邻接矩阵[61]等来保存节点的拓扑信息。

       较早的方法主要使用多层感知器来构建用于网络嵌入学习的GAE。用于图形表示的深度神经网络（DNGR）[59]使用堆叠的去噪自动编码器[108]通过多层感知器对逐点互信息矩阵（PPMI）进行编码和解码。所学习的潜在表示能够保留数据背后的高度非线性规则性，并且特别是在缺少值时具有鲁棒性。PPMI矩阵通过从图表中采样的随机游走本质上捕获节点共现信息。正式地，PPMI矩阵定义为

其中，和函数返回节点v和/或节点u在采样随机遍历中共现/发生的频率。

        同时，结构深度网络嵌入（SDNE）[60]使用堆叠式自动编码器共同保存节点的一阶接近度和二阶接近度。SDNE在编码器的输出和解码器的输出上分别提出两个损耗函数。第一损失功能使学习到的网络嵌入能够通过最小化节点的网络嵌入与其邻居的网络嵌入之间的距离来保持节点一阶邻近度。第一损失函数L1st定义为 

       其中xv = Av;：，而enc（·）是由多层感知器组成的编码器。第二损失函数使学习到的网络嵌入能够通过最小化节点输入与其重构输入之间的距离来保留节点二阶邻近度。具体地，第二损失函数L2nd定义为

dec（·）是由多层感知器组成的解码器。DNGR [59]和SDNE [60]仅考虑节点结构信息。他们忽略节点可能包含功能信息。图自动编码器（GAE * 3）[61]利用GCN [22]同时编码节点结构信息和节点特征信息。GAE *的编码器由两个图卷积层组成，其形式为 

其中Z表示图的网络嵌入矩阵，f（·）是ReLU激活函数，Gconv（·）函数是由公式11定义的图卷积层。GAE*的解码器旨在从它们的节点关系信息中解码通过重建图邻接矩阵进行嵌入，定义为

其中zv是节点v的嵌入。GAE *通过在给定实际邻接矩阵A和重构的邻接矩阵A ^的情况下最小化负交叉熵来进行训练。

由于自动编码器的容量，简单地重建图邻接矩阵可能会导致过度拟合。变异图自动编码器（VGAE）[61]是GAE的变异版本，用于学习数据的分布。VGAE优化变分下限L

其中KL（·）是衡量两个分布之间距离的Kullback-Leibler发散函数，p（Z）是高斯先验p（Z）= QN i = 1 p（zi）= QN i = 1 N（zij0; I），p（Aij = 1jzi; zj）= dec（zi; zj）=σ（zT i zj），q（ZjX; A）= QN i = 1 q（zijX; A）与q（zijX; A） = N（zijµi; diag（σi2））。
平均向量µi是由公式29定义的编码器输出的第i行，logσi的推导与另一个编码器的µi类似。根据公式31，VGAE假定经验分布q（ZjX; A）应该与先验分布p（Z）接近。为了进一步强制经验分布q（ZjX; A）近似于先验分布p（Z），对抗正则化变分图自动编码器（ARVGA）[62]，[109]采用了生成对抗网络（GAN）的训练方案[110] ]。GAN在训练生成模型时在生成器和判别器之间进行比赛。生成器尝试生成尽可能真实的“伪样本”，而鉴别器试图将“伪样本”与真实样本区分开。受GAN的启发，ARVGA努力学习一种编码器，该编码器产生的经验分布q（ZjX; A）与先前的分布p（Z）不能区分开。

除了优化重构误差外，GraphSage [42]还显示了两个节点之间的关系信息可以通过负采样来保留，但会有以下损失：

其中节点u是节点v的邻居，节点vn是到节点v的远端节点，并且是从负采样分布Pn（v）中采样的，而Q是负采样数。该损失函数实质上是使近节点具有相似的表示，而远处节点具有不同的表示。DGI [56]或者通过最大化本地互信息来驱动本地网络嵌入以捕获全局结构信息。实验证明，它比GraphSage [42]有明显的改进。

对于上述方法，无论是隐式还是显式，损失函数都与图邻接矩阵有关。但是，图的稀疏性导致邻接矩阵的正项数量远远少于零个。为了缓解数据稀疏性问题，另一行工作是通过随机排列或随机游走将图形转换为序列。通过这种方式，那些适用于序列的深度学习方法可以直接用于处理图形。深度递归网络嵌入（DRNE）[63]假定节点的网络嵌入应近似于其邻居网络嵌入的聚合。它采用了长期短期记忆（LSTM）网络[7]来聚合节点的邻居。DRNE的重建误差定义为

其中是通过字典查找获得的节点v的网络嵌入，并且LSTM网络采用节点v的邻居的随机序列，按其节点度排序作为输入。如等式33所示，DRNE通过LSTM网络隐式地学习网络嵌入，而不是使用LSTM网络来生成网络嵌入。它避免了LSTM网络对节点序列的排列不变的问题。具有异常正则化自动编码器的网络表示（NetRA）[64]提出了具有一般损失函数的图编码器 - 解码器框架，定义为

其中是节点嵌入z和重构z之间的距离度量。NetRA的编码器和解码器是LSTM网络，其根据每个节点作为输入进行随机游走。类似于ARVGA [62]，NetRA通过对抗训练将学习到的网络嵌入在事先的分布中进行正规化。尽管NetRA忽略了LSTM网络的节点置换变异问题，但实验结果验证了NetRA的有效性。

B.图生成

通过使用多个图，GAE可以通过将图编码为隐藏表示并解码给定隐藏表示的图结构来学习图的生成分布。大多数用于图形生成的GAE都是为解决分子图形生成问题而设计的，该问题在药物发现中具有很高的实用价值。这些方法要么以顺序方式要么以全局方式提出新图。

顺序方法通过逐步提出节点和边来生成图形。Gomez等[111] Kusner等[112]，和戴等[113]用深CNN和RNN分别作为编码器和解码器，对名为SMILES的分子图的字符串表示的生成过程进行建模。尽管这些方法是特定于领域的，但替代解决方案也可以通过将节点和边迭代地添加到增长的图上，直到满足特定条件为止，从而适用于一般图。图的深度生成模型（DeepGMG）[65]假设图的概率是所有可能的节点排列之和：

其中π表示节点顺序。它捕获图中所有节点和边的复杂联合概率。DeepGMG通过一系列决策生成图形，即是否添加节点、添加哪个节点、是否添加边以及连接到新节点的节点。生成节点和边的决策过程取决于由RecGNN更新的增长图的节点状态和图状态。在另一项工作中，graph RNN[66]提出了一个图级RNN和一个边级RNN来模拟节点和边的生成过程。图级RNN每次都向节点序列添加一个新节点，而边级RNN生成一个二进制序列，指示新节点与序列中先前生成的节点之间的连接。

全局方法可一次输出全部图形。图变量自动编码器（GraphV AE）[67]将节点和边的存在建模为独立随机变量。通过假设由编码器定义的后验分布qφ（z | G）和由解码器定义的生成分布pθ（G | z），GraphVAE优化了变分下界

其中p（z）遵循高斯先验，φ和θ是可学习的参数。使用ConvGNN作为编码器，并使用简单的多层感知层作为解码器，GraphV AE输出具有其邻接矩阵，节点属性和边缘属性的生成图形。控制生成图的全局属性（例如图连接性，有效性和节点兼容性）具有挑战性。正则图可变自动编码器（RGV AE）[68]进一步在图变自动编码器上施加了有效性约束，以正则化解码器的输出分布。分子生成对抗网络（MolGAN）[69]整合了convGNNs [114]，GANs [115]和强化学习目标，以生成具有所需特性的图形。MolGAN由生成器和鉴别器组成，它们相互竞争以提高生成器的真实性。在MolGAN中，生成器尝试提出一个伪图及其特征矩阵，而鉴别器的目的是将伪样本与经验数据区分开。另外，与鉴别器并行引入奖励网络，以根据外部评估者鼓励生成的图具有某些属性。NetGAN [70]将LSTM [7]与Wasserstein GAN [116]结合起来，通过基于随机游走的方法生成图形。NetGAN训练生成器通过LSTM网络生成合理的随机游走，并强制执行鉴别器以从真实的随机游走中识别出虚假的随机游走。训练后，通过归一化基于生成器产生的随机游走而计算出的节点的共现矩阵，可以得出新图。

虽然顺序方法和全局方法从两个不同的角度解决了图生成问题，但它们都遭受了大规模问题。一方面，顺序方法将图形线性化为序列。如果图形很大，则结果序列将相应地过长。用RNN模拟长序列是无效的。另一方面，由于全局方法一次性生成图形，GAE的输出空间高达。

7.时空图神经网络

在现实世界的许多应用中，图形无论是在图形结构还是在图形输入方面都是动态的。时空图神经网络（STGNNs）在捕捉图的动态性方面占有重要地位。这类方法的目的是在假设连接节点之间相互依赖的情况下，对动态节点输入进行建模。例如，交通网络由放置在道路上的速度传感器组成，在道路上，边权重由传感器对之间的距离决定。由于一条道路的交通状况可能取决于其相邻道路的状况，因此在进行交通速度预测时必须考虑空间相关性。作为一种解决方案，STGNNs同时捕获图的空间和时间依赖关系。STGNNs的任务可以是预测未来的节点值或标签，或者预测时空图标签。STGNNs遵循两个方向：基于RNN的方法和基于CNN的方法。

大多数基于RNN的方法通过使用图形卷积过滤输入和隐藏状态来捕获时空依赖性[48]，[71]，[72]。为了说明这一点，假设一个简单的RNN采用这种形式

其中是时间步t的节点特征矩阵。插入图形卷积后，等式37变为

其中Gconv（·）是图卷积层。图卷积递归网络（GCRN）[71]结合了LSTM网络和ChebNet [21]。扩散卷积递归神经网络（DCRNN）[72]将建议的扩散图卷积层（等式15）合并到GRU网络中。此外，DCRNN采用编解码器框架来预测节点值的未来K步。

另一项并行工作使用节点级RNN和边级RNN来处理时间信息的不同方面。Structural-RNN [73]提出了一个递归框架来预测每个时间步的节点标签。它包括两种RNN，即节点RNN和边缘RNN。每个节点和每个边的时间信息分别通过节点-RNN和边缘-RNN。为了合并空间信息，节点RNN将edge-RNN的输出作为输入。由于为不同的节点和边缘假定不同的RNN会显着增加模型的复杂性，因此它将节点和边缘分成语义组。同一语义组中的节点或边共享相同的RNN模型，从而节省了计算成本。

基于RNN的方法遭受耗时的迭代传播和梯度爆炸/消失问题，特别是在结合ConvGNN时。作为替代解决方案，基于CNN的方法以非递归方式处理时空图，具有并行计算，稳定梯度和低存储器要求的优点。如图2d所示，基于CNN的方法将1DCNN层与图形卷积层交织以分别学习时间和空间依赖性。假设图形空间 - 时间网络的输入是张量,1D-CNN层沿时间轴滑过以聚合每个节点的时间信息，而图形卷积层在上操作以在每个时间步骤聚合空间信息。CGCN [74]将1D卷积层与ChebNet [21]或GCN [22]层相结合。它通过按顺序堆叠门控1D卷积层，图卷积层和另一门控1D卷积层来构造空间 - 时间块。ST-GCN [75]使用1D卷积层和PGC层组成空间 - 时间块（等式17）。

先前的方法都使用预定义的图结构。他们假设预定义的图结构反映了节点之间真正的依赖关系。但是，利用时空设置中的许多图形数据快照，可以从数据中自动学习潜在的静态图形结构。为了实现这一点，Graph WaveNet [76]提出了一种自适应邻接矩阵来执行图卷积。
自适应邻接矩阵定义为 

其中E1表示源节点嵌入，E2表示嵌入可学习参数的目标节点。通过将E1与E2相乘，可以获得从源节点到目标节点的依赖性权重。利用复杂的基于CNN的时空神经网络，Graph WaveNet在没有给出邻接矩阵的情况下表现良好。

学习潜在的静态空间依赖性可以帮助研究人员发现网络中不同实体之间的可解释和稳定的相关性。然而，在某些情况下，学习潜在的动态空间依赖性可以进一步提高模型精度。例如，在交通网络中，两条道路之间的行程时间可能取决于它们当前的交通条件。GaAN [48]采用注意机制通过基于RNN的方法学习动态空间依赖性。注意功能用于在给定其当前节点输入的情况下更新两个连接节点之间的边缘权重。ASTGCN [77]还包括空间注意功能和时间注意功能，以通过基于CNN的方法来学习潜在的动态空间依赖性和时间依赖性。学习潜在空间依赖性的共同缺点是它需要计算每对节点之间的空间依赖性权重，这需要花费。

8.应用

        由于图结构化数据无处不在，因此GNN具有广泛的应用。在本节中，我们总结了文献中经常使用的基准图数据集。然后，我们分别报告了节点分类和图分类任务的基准性能。我们提供了GNN的可用开源实现。我们详细介绍了GNN在各个领域的实际应用。

A.数据集

数据集对于评估GNN在不同任务（例如节点分类和图分类）中的表现必不可少。我们主要将数据集分为四类，即引文网络，生化图，社交网络等。在表VI中，我们总结了文献中常用的数据集。附录A中提供了更详细的信息。

B.基准和开源实现

节点分类和图分类是测试RecGNN和ConvGNN性能的常见任务。在表VII中，我们报告了五种数据集上节点分类的基准性能，即Cora，Citeseer，Pubmed，PPI和Reddit。在表VIII中，我们报告了五种数据集上图形分类的基准性能，即NCI-1，MUTAG，D＆D，PROTEIN和PTC。

开源实现有助于深度学习研究中的基线实验工作。由于存在大量的超参数，很难在不使用公开的代码的情况下获得与文献中报道的相同的结果。在附录B中，我们提供了本文中评论的GNN模型的开源实现的超链接。值得注意的是，Fey等人。 [92]在PyTorch中发布了一个名为PyTorch Geometric 4的几何学习库，它实现了许多GNN。最近，Deep Graph Library（DGL）5发布，它提供了在PyTorch和MXNet等流行的深度学习平台上快速实现的许多GNN。

C.实际应用

GNN具有跨不同任务和领域的许多应用程序。尽管可以由GNN的每个类别直接处理常规任务，包括节点分类，图分类，网络嵌入，图生成和时空图预测，但其他与图相关的常规任务，例如节点聚类[129]，链接预测[130]，图分区[131]也可以由GNN解决。我们基于以下研究领域详细介绍了一些应用程序。

计算机视觉：

        GNNs在计算机视觉中的应用包括场景图生成、点云分类与分割、动作识别等。

识别对象之间的语义关系有助于理解视觉场景背后的含义。场景图生成模型的目的是将图像解析为一个由对象及其语义关系组成的语义图[132]、[133]、[134]。另一个应用程序通过生成给定场景图的真实图像来反转该过程[135]。由于自然语言可以被解析为每个词代表一个对象的语义图，因此在给定文本描述的情况下合成图像是一个很有前途的解决方案。

识别视频中包含的人类行为有助于从机器的角度更好地理解视频内容。一些解决方案检测视频片段中人体关节的位置。由骨骼连接的人体关节自然形成一个图形。给定人类关节位置的时间序列，[73]，[75]应用STGNNs来学习人类的行为模式。

此外，GNNs在计算机视觉中的应用方向还在不断增加。包括人机交互[139]、少镜头图像分类[140]、[141]、[142]、语义分割[143]、[144]、视觉推理[145]、问答[146]等。

自然语言处理：

       GNNs在自然语言处理中的一个常见应用是文本分类。GNNs利用文档或单词之间的相互关系来推断文档标签[22]、[42]、[43]。

尽管自然语言数据呈现顺序，但它们也可能包含内部图形结构，例如语法依赖树。句法依存树定义句子中词之间的句法关系。Marcheggiani等人。[147]提出了在CNN/RNN语句编码器上运行的语法GCN。句法GCN基于句子的句法依存树来聚合隐藏词表示。Bastings等人。[148]将句法GCN应用于神经机器翻译任务。Marcheggiani等人。[149]进一步采用与Bastings等人相同的模型。[148]处理句子的语义依存图。

图到顺序学习学习在给定抽象单词语义图（称为抽象含义表示）的情况下生成具有相同含义的句子。宋等。[150]提出了一种图形LSTM来编码图形级语义信息。贝克等。[151]将GGNN [17]应用于图到序列学习和神经机器翻译。逆任务是序列图学习。在给定句子的情况下生成语义或知识图在知识发现中非常有用[152]，[153]。

交通：

在智能交通系统中，准确预测交通网络中的交通速度、交通量或道路密度至关重要。[48]、[72]、[74]使用STGNNs解决流量预测问题。他们把交通网络看作是一个时空图，其中节点是安装在道路上的传感器，边是通过节点对之间的距离来测量的，每个节点都有一个窗口内的平均交通速度作为动态输入特征。另一个工业级应用是出租车需求预测。鉴于历史出租车需求，位置信息，天气数据，以及事件特征，姚等。〔154〕将LSTM、美国有线电视新闻网和由线（155）训练的网络嵌入形成用于每个位置的联合表示，以预测在时间间隔内的位置所需的出租车数量。

推荐系统：

化学学科：

GNNs的应用不限于上述领域和任务。GNNs在许多问题上的应用已有初步探索，如程序验证[17]、程序推理[161]、社会影响预测[162]、对抗性攻击预防[163]、电子健康记录建模[164]、[165]、脑网络[166]、事件检测[167]、组合优化[168]等。

9.未来方向展望

       虽然GNNS已经证明了他们学习图形数据的能力，但由于图形的复杂性，仍然存在挑战。在这一部分中，我们提出了GNNs未来的四个发展方向。

模型深度：深度学习的成功在于深度神经结构[169]。然而李等人。表明ConvGNN的性能随着图卷积层数的增加而显著下降[53]。当图卷积使相邻节点的表示更接近时，理论上，在无限个图卷积层的情况下，所有节点的表示都会收敛到一个点。[53]。这就提出了一个问题：深度学习是否仍然是学习图形数据的一个好策略。

可扩展性的权衡：GNNs的可扩展性是以破坏图的完整性为代价的。无论是使用抽样还是聚类，模型都会丢失部分图形信息。通过采样，一个节点可能会错过其有影响力的邻居。通过聚类，一个图可以被剥夺一个不同的结构模式。如何权衡算法的可扩展性和图的完整性是未来的研究方向.

异质性：当前的大多数GNN假设为齐次图。很难将当前的GNN直接应用于异构图形，该图形可能包含不同类型的节点和边缘，或不同形式的节点和边缘输入，例如图像和文本。因此，应该开发新的方法来处理异构图。

动态性问题：图本质上是动态的，节点或边可能出现或消失，节点/边输入可能会随着时间而改变。为了适应图的动态性，需要新的图卷积。虽然STGNNs可以部分地解决图的动态性问题，但很少考虑在动态空间关系的情况下如何进行图卷积。

表六：常用数据集摘要。

表七：五个常用数据集的节点分类基准性能。所列方法使用相同的列车/有效/测试数据分割。Cora、Citeseer和Pubmed通过分类精度进行评估。PPI和Reddit通过微观平均F1得分进行评估

表八：五个常用数据集上图形分类的基准性能。所列方法均采用10倍交叉验证。报告了每种方法的平均准确度和标准偏差

10.结论：

在这项调查中，我们对图神经网络进行了全面的概述。我们提供的分类法将图神经网络分为四类：递归图神经网络，卷积图神经网络，图自动编码器和时空图神经网络。我们对类别内或类别间的方法进行了全面的回顾，比较和总结。然后，我们介绍图神经网络的广泛应用。
总结了图神经网络的数据集，开源代码和基准。最后，我们提出了图神经网络的四个未来方向 。

 

 

 

 

 

 

 

 

 

 

 

 

名词解释

欧几里得：
什么是图数据？？

softmax层：

recurrence：递归

双图卷积结构：

函数单射：

鲁棒性：稳健性

节点RNN和边RNN：

 

 

 

重要文献

[16] M. Gori, G. Monfardini, and F. Scarselli, “A new model for learning in graph domains,” in Proceedings of the International Joint Conference on Neural Networks, vol. 2. IEEE, 2005, pp. 729–734.
[17] A. Micheli, “Neural network for graphs: A contextual constructive approach,” IEEE Transactions on Neural Networks, vol. 20, no. 3, pp. 498–511, 2009.
[18]F. Scarselli, M. Gori, A. C. Tsoi, M. Hagenbuchner, and G. Monfardini, “The graph neural network model,” IEEE Transactions on Neural Networks, vol. 20, no. 1, pp. 61–80, 2009.