清晰图表，详尽阐述 GNN、GCN、GAE 等 5 类模型

图神经网络 (GNN)

图神经网络是图数据最原始的半监督深度学习方法。
GNN 的思路：为了编码图的结构信息，每个节点可以由低维状态向量表示。对于以图为中心的任务，建议添加一个特殊节点，这个节点具有与整个图相对应的唯一属性。
回顾过去，GNN 统一了一些处理图数据的早期方法，如递归神经网络和马尔可夫链。
展望未来，GNN 中的概念具有深远的启示：许多最先进的 GCN 实际上遵循与邻近节点交换信息的框架。事实上，GNN 和 GCN 可以统一到一个通用框架中，GNN 相当于 GCN 使用相同层来达到的稳定状态。从概念角度来看，GNN 是非常重要的，但它也有几个缺点：首先，在其计算过程中，公式 (具体公式可查看原文) 中的映射必须是压缩映射，这就严重限制了建模能力。其次，由于在梯度下降步骤之间需要许多迭代，因此 GNN 在计算上的代价是昂贵的。

图卷积网络 (GCN)

除了 GNN，图卷积网络 (GCN) 是图的另一类半监督方法。
由于 GCN 通常可以像标准的 CNN 那样通过反向传播来训练特定任务的损失，所以本文主要关注其采用的体系结构。
下表总结了本文所研究的 GCN 的主要特征：
不同图卷积网络之间的比较

可以看到在本文所研究的 22 种 GCN 方法中，从类型角度看分为两种，一种是光谱域 (Spectral)、另一种是空间域 (Spatial)。

在卷积操作过程中，每种方法所采用的技术也大不相同，主要包括插值核 (Interpolation Kernel)、多项式、First-order 以及 Random Walk 等等。在 Readout 方面，主要包括分层聚类、分层聚类 + FC、Set2set 等等技术。当然在在可扩展性、节点特征以及其它改进方面也各不相同。

图自编码器 (GAE)

自编码器 (AE) 和变分自编码器 (VAE) 广泛应用于无监督学习中，它们适用于学习无监督信息的图节点表示。
下表总结了本文所研究的 GAE 主要特征：
不同 GAE 之间的比较

可以看到，在本文所研究的 10 种 GAE 方法中，7 种属于自编码器 (AE)、3 种属于变分自编码器 (VAE)。每种方法采用的降维方法也有所不同，主要包括 L2-Reconstruction、拉普拉斯特征映射 (Laplacian Eigenmap)、递归 Reconstruction、排序、GAN 等等。在可扩展性、节点特征以及其它改进方面也各不相同。除了上述两个主要分类外，也有一些进展值得讨论。首先是对抗性训练方案，尤其是生成对抗网络 (GAN)，这是最近机器学习领域的一个热门话题。GAN 的基本思想是构建两个相关联的模型，一个判别器和一个生成器。生成器的目的是通过产生假数据来 “欺骗” 判别器，判别器的目的是区分样本是真实数据还是由生成器产生的假数据。然后，两个模型可以通过极大极小博弈进行联合训练，从而相互受益。S. Pan 等人将对抗训练方案作为一个额外的正则化项纳入 GAE。整个架构如图 9 所示。具体来说，编码器用作生成器，判别器的目的是区分潜在表示是来自生成器还是来自先验分布。这样，自动编码器就被强制匹配先验分布以作为正则化。

最新的进展

递归神经网络 (RNN)，例如 GRU 或 LSTM 是建模序列数据的一个实际标准，在 GNN 中用于模拟节点状态。RNN 也可以用于图级别。为了消除歧义，我们将这种架构称为 Graph RNNs。You et al.将 Graph RNN 应用于图生成问题。具体来说，他们采用两个 RNN，一个用于生成新的节点，另一个用于以自回归的方式为新添加的节点生成边。结果表明，与传统的基于规则的图生成模型相比，这种分层 RNN 结构在具有可接受的时间复杂度的同时，能够有效地从输入图中学习。
动态图神经网络 (Dynamic Graph Neural Network, DGNN)[95] 提出利用 time-aware LSTM来学习动态图中的节点表示。作者表明， time-aware LSTM 可以很好地建模边形成的顺序和时间间隔，从而有利于图的广泛应用。
也可以将 Graph RNN 与其他架构 (如 GCN 或 GAE) 结合使用。例如 RMGCNN[96] 将 LSTM 应用于 GCN 的结果，逐步重构图，如图 10 所示，旨在解决图的稀疏性问题。Dynamic GCN应用 LSTM 在动态网络中收集不同时间片段的 GCN 结果，目的是获取空间和时间图信息。

图 10：RMGCNN 的框架

图强化学习

GCPN 利用 RL 生成目标导向的分子图，以处理不可导目标和约束。实验结果证明了 GCPN 在各种图生成问题中的有效性。
MolGAN也采用了类似的思想，即使用 RL 生成分子图。MolGAN 建议直接生成完整的图，而不是通过一系列的动作来生成图，这对小分子很有效。

基于图的深度学习的应用和未来方向

应用

除了标准图推理等任务，如节点分类或图分类，基于深度学习的方法也已经应用于广泛的学科，如建模社会影响、推荐、化学、物理、疾病或药物预测、自然语言处理、计算机视觉、交通预测、程序归纳、以及求解基于图的 NP 问题。
这些应用还表明，基于图的深度学习不仅有助于挖掘现有图数据背后的丰富价值，而且还通过将关系数据自然地建模为图，有助于推进其他学科的发展，极大地扩大了基于图的深度学习的适用性。

以下几个正在进行或未来的方向值得关注：

不同类型的图。由于图数据结构极其不同，现有的方法无法处理所有的图数据。下一个重要的方向是设计特定的深度学习模型来处理这些不同类型的图。
动态图。大多数现有方法关注于静态图。然而，许多真实图本质上是动态的，其中节点、边及其特征可以随着时间的推移而改变。例如，在社交网络中，人们可能建立新的社会关系，删除旧的关系，他们所扮演的角色，例如爱好和职业可以随着时间的推移而改变。新用户可以加入网络，老用户可以离开。如何对动态图的演化特征进行建模，并支持模型参数的增量更新，在很大程度上仍是未解决的问题。
可解释性。由于图通常与其他学科相关，因此，对基于图的深度学习模型作出解释对于决策问题至关重要。例如，在医学或与疾病有关的问题中，在将计算机实验转化为临床应用方面，可解释性是必不可少的。然而，由于图中的节点和边是高度互连的，基于图的深度学习的可解释性甚至比其他黑盒模型更具挑战性。
组合性。如前几节所示，许多现有的架构可以一起工作，例如使用 GCN 作为 GAEs 或 Graph RNNs 中的一个层。除了设计新的构建块，如何有原则地组合这些架构是一个有趣的方向。
综上所述，我们的研究表明，图深度学习是一个很有前途、且发展迅速的研究领域，既有令人兴奋的机会，也有挑战。研究图深度学习是关系数据建模的关键部分，是迈向更好的机器学习和人工智能时代的重要一步。

论文地址：https://arxiv.org/pdf/1812.04202v1.pdf