GAE—图自编码器/Graph RNN/Graph RL

图自动编码器(GAE)

自编码器(AE)和变分自编码器(VAE)广泛应用于无监督学习中，它们适用于学习无监督信息的图节点表示。下表总结了本文所研究的GAE主要特征：
不同GAE之间的比较

可以看到，在本文所研究的10种GAE方法中，7种属于自编码器(AE)、3种属于变分自编码器(VAE)。

每种方法采用的降维方法也有所不同，主要包括L2-Reconstruction、拉普拉斯特征映射(Laplacian Eigenmap)、递归Reconstruction、排序、GAN等等。

在可扩展性、节点特征以及其它改进方面也各不相同。除了上述两个主要分类外，也有一些进展值得讨论。
首先是对抗性训练方案，尤其是生成对抗网络(GAN)，这是最近机器学习领域的一个热门话题。
GAN的基本思想是构建两个相关联的模型，一个判别器和一个生成器。生成器的目的是通过产生假数据来“欺骗”判别器，判别器的目的是区分样本是真实数据还是由生成器产生的假数据。然后，两个模型可以通过极大极小博弈进行联合训练，从而相互受益。

S. Pan等人 [83]将对抗训练方案作为一个额外的正则化项纳入GAE。整个架构如图9所示。具体来说，编码器用作生成器，判别器的目的是区分潜在表示是来自生成器还是来自先验分布。这样，自动编码器就被强制匹配先验分布以作为正则化。

除了前面提到的半监督方法和无监督方法之外，我们在这一节中还讨论了一些最新的高级方法。它们的主要特性如表所示。

图递归神经网络（Graph RNN）和图强化学习(Graph RL)

递归神经网络(RNN)

例如GRU或LSTM是建模序列数据的一个实际标准，在GNN中用于模拟节点状态。
You et al. [94]将Graph RNN应用于图生成问题。具体来说，他们采用两个RNN，一个用于生成新的节点，另一个用于以自回归的方式为新添加的节点生成边。结果表明，与传统的基于规则的图生成模型相比，这种分层RNN结构在具有可接受的时间复杂度的同时，能够有效地从输入图中学习。

动态图神经网络(Dynamic Graph Neural Network, DGNN)[95]提出利用 time-aware LSTM[100]来学习动态图中的节点表示。作者表明， time-aware LSTM可以很好地建模边形成的顺序和时间间隔，从而有利于图的广泛应用。

也可以将Graph RNN与其他架构(如GCN或GAE)结合使用。例如RMGCNN[96]将LSTM应用于GCN的结果，逐步重构图，如图10所示，旨在解决图的稀疏性问题。Dynamic GCN[97]应用LSTM在动态网络中收集不同时间片段的GCN结果，目的是获取空间和时间图信息。

Relational recurrent neural networks（关系性循环神经网络）

DeepMind和伦敦大学学院的这篇论文提出关系推理模块RMC，能够在序列信息中执行关系推理，在WikiText-103, Project Gutenberg 和 GigaWord 数据集上达到了当前最佳性能。

基于记忆的神经网络通过利用长时间记忆信息的能力来建模时序数据。然而，目前还不清楚它们是否有能力利用它们记得的信息进行复杂的关系推理。
在这篇论文中，DeepMind和伦敦大学学院的研究人员首先证实一种直觉想法，即标准的记忆架构在一些涉及关系推理的任务上很困难。然后，研究者通过使用一个新的记忆模块——Relational Memory Core（RMC）——来改进这种缺陷，该模块采用multi-head dot product attention来允许记忆交互。
最后，研究者在一系列任务上测试RMC，这些任务可以从跨序列信息的更强大的关系推理中获益，并且在RL领域（例如Mini PacMan）、程序评估和语言建模中显示出巨大的受益，在WikiText-103、Project Gutenberg和GigaWord数据集上获得state-of-the-art的结果。
论文地址：https://arxiv.org/abs/1806.01822

Relational Deep Reinforcement Learning（关系性深度强化学习）

近日，DeepMind 提出了一种「关系性深度强化学习」方法，并在星际争霸 2 中进行了测试，取得了最优水平。
论文链接：https://arxiv.org/abs/1806.01830

深度强化学习方法，它可以通过结构化感知和关系推理提高常规方法的效率、泛化能力和可解释性。该方法使用自注意力来迭代地推理场景中实体之间的关系并指导 model-free 策略。实验结果表明，在一项名为「方块世界」的导航、规划新任务中，智能体找到了可解释的解决方案，并且在样本复杂性、泛化至比训练期间更复杂场景的能力方面提高了基线水平。在星际争霸 II 学习环境中，智能体在六个小游戏中达到了当前最优水平——在四个游戏中的表现超越了大师级人类玩家。通过考虑架构化归纳偏置，我们的研究为解决深度强化学习中的重要、棘手的问题开辟了新的方向。
你可以参考：https://yobibyte.github.io/files/paper_notes/rdrl.pdf

图卷积网络：http://tkipf.github.io/graph-convolutional-networks/
关系RNN：https://arxiv.org/pdf/1806.01822v1.pdf
关系深度强化学习：https://arxiv.org/abs/1806.01830
关系归纳偏置：https://arxiv.org/pdf/1806.01203.pdf