【论文笔记】 图神经网络综述 A Comprehensive Survey on Graph Neural Networks
目录
1. Introduction
本篇综述的主要贡献
本篇论文的整体结构
2. DEFINITION
3. 分类和框架
4. GRAPH CONVOLUTION NETWORKS
4.1 基于谱的图卷积网络（Spectral-based Graph Convolutional Networks）
4.2 基于空间的图卷积网络（Spacial-based Graph Convolutional Networks）
4.2.1 Recurrent-based Spatial GCNs（基于循环的空间GCN）
4.2.2 基于合成的空间GCNs（Composition Based Spatial GCNs）
4.2.3 空间GCNs的其他变体
4.3 图池化模型
4.4 基于谱的和基于空间的模型间的对比
5. 其它的图卷积网络
5.1 图注意力网络
5.1.1 图注意力网络中的若干方法
5.2 图自编码器
5.3 图生成网络
5.4 图时空网络（Graph Spatial-Temporal Networks）
6.7.8 需要阅读更多资料
这些年，深度学习在图像分类、视频处理、语音识别和自然语言理解等领域带来了重大革新。在这些领域中，数据一般都是欧几里得数据。然而，在越来越多的场景中数据是非欧几里得的，比如代表复杂关系和对象间相互依存的图。
1. Introduction
以往的机器学习算法中的一个核心假设是实体之间相互独立，然而在图数据中每个实体（节点）与它的邻居有着复杂的链接信息。
现在的研究从卷积网络、循环网络和深度自编码器中吸取经验来设计图神经网络的体系结构。
最近几年，为了应对复杂的图数据，研究者们很快定义了一些重要的操作。比如图1阐明了受到二维卷积启发的图卷积。
本篇综述的主要贡献
- 新的分类方式。我们给出了图神经网络（graph neural network，或GCNs，graph convolution networks）的新分类方式。我们将GCNs分成五组：graph convolution networks、graph attention networks、graph auto-encoders、graph generative networks和graph spatial-temporal networks。我们还准确描述了图神经网络和图嵌入（网络嵌入）的区别，并且画出了不同结构的图神经网络之间的联系。
- 全面的综述
- 未来的方向
本篇论文的整体结构
Section 2： 定义一些概念
Section 3： 解释图神经网络的分类
Section 4： 介绍一些图神经网络模型
Section 5： 同上
Section 6： 在不同领域中的应用
Section 7： 当前的挑战和对未来方向的建议
Section 8： summary
2. DEFINITION
① 图：应该都知道吧
②有向图：无需解释吧
③时空图（Spatial-Temporal Graph）：时空图是特征矩阵X随时间演化的属性图。它被定义为
3. 分类和框架
4. GRAPH CONVOLUTION NETWORKS
4.1 基于谱的图卷积网络（Spectral-based Graph Convolutional Networks）
都基于谱了，看起来还是要点背景知识才能理解，先留个坑。
4.2 基于空间的图卷积网络（Spacial-based Graph Convolutional Networks）
基于空间的方法效仿了传统的用于图像的卷积神经网络，定义了基于结点的空间关系的图卷积。
为了将图像和图联系起来，我们可以把图像中的每个像素看成图中的一个结点，每个像素和它周围的像素相连。当使用3×3的window时，每个像素和周围的八个元素相连（如图1a）。
图卷积则是将中间结点的表示和它邻居结点的表示聚合起来，得到该结点的新的表示（如图1b）。
为了探索一个结点的感受野（receptive field）的深度和宽度，一种通用的做法是将多种图卷积方法堆叠起来。我们将spatial-based GCNs分为两类：recurrent-based和composition-based
4.2.1 Recurrent-based Spatial GCNs（基于循环的空间GCN）
主要思想就是去循环（递归？）地更新结点的隐藏表示（latent representation），直到达到一个稳定不动点。这通过对循环函数施加约束，采用门控循环单元（gate recurrent unit）架构，异步且随机地更新节点的隐藏表示来完成。（当然不知道说的都是啥）
下面我们将逐一介绍这三种方法。
图神经网络（GNNs）
GNNs递归地更新结点的隐藏表示直到收敛。从扩散过程的角度来说，每个结点和它的邻居结点交换信息，直到达到某种平衡。为了处理异构图，GNNs的空间图卷积定义如下
参数1：结点v的lable属性
参数2：结点v对应的（corresponding）边的lable属性
参数3：结点v的邻居结点（neighbors）在第t-1步时的隐藏表示
参数4：结点v的邻居结点的lable属性
为了确保收敛，循环函数f(·)必须是一个压缩映射（contraction mapping），即在映射后缩小两个结点间的距离。若f(·)是一个神经网络，必须在参数的雅克比矩阵上加上惩罚因子（penalty term）。GNNs使用Almeida-Pineda算法训练模型，其核心思想是balabalabala（反正就给一句话也并不能理解且怀疑有语法错误）
门控图神经网络（Gate Graph Neura Networks，GGNNs）
GGNNs使用门控循环单元（GRU）作为循环函数，将重复次数减少到固定的步数。
GGNNs的空间图卷积定义如下
与GNNs不同，GGNNs使用随时间反向传播算法（BPTT）来学习参数。优点是不必约束参数以确保收敛，缺点是牺牲了时空效率。
随机稳态嵌入（Stochastic Steady-state Embedding，SSE）
为了提高学习效率，SSE算法异步且随机地更新结点的隐藏表示。
4.2.2 基于合成的空间GCNs（Composition Based Spatial GCNs）
此类方法通过堆叠多种图卷积方法来更新结点的表示。
消息传递神经网络（Message Passing Neural Networks，MPNNs）
Gilmer等人概括了几种现存的图卷积网络到叫做MPNNs的框架中。
MPNNs由两个阶段组成，即消息传递阶段和读出阶段。
（这里介绍比较简略不看了再留个坑QwQ）
GraphSage
GraphSage框架引入了聚合函数的概念来定义图卷积。
聚合函数实质上聚集了一个结点的邻居信息。
聚合函数所用的结点的顺序排列需要对结果没有影响，比如平均数，求和，求最大值等。
GraphSage并没有选择更新所有结点的状态，而是提出了一种批训练算法，提高了大型图的可伸缩性（不知道啥意思？）
GraphSage的学习过程分为三步：
- 抽取一个结点的固定数目的k跳邻居（就是计网的那个跳）
- 通过聚合邻居结点的属性信息算出中心结点状态
- 使用中心结点的最终状态来进行误差的反向传播及做出预测
如图所示
4.2.3 空间GCNs的其他变体
Diffusion Convolution Neural Networks（传播卷积网络），DCNN（不是有名的那个DCNN）
DCNN提出了一个封装在图传播过程中的图卷积网络。通过将输入与转移概率矩阵的幂级数独立卷积（什么鬼），可以得到隐藏节点表示。
PATCHY-SAN（佩奇桑？）
将图结构数据转化为网格结构数据然后用CNN解决图分类任务。然而此种方法只考虑了图的结构，而忽略了结点特征信息。
大规模图卷积网络（Large-scale Graph Convolution Networks， LGCN）
对佩奇桑进行了改进，考虑了结点的特征信息。
混合模型网络（Mixture Model Network，MoNet）
通过非欧几里得域上的卷积架构统一了标准CNN。
一些基于空间的方法在聚合邻居结点的特征时忽略了结点与其邻居之间的相对位置关系，MoNet提出了伪坐标（pseudo-coordinates）和决定于结点和其邻居间相对位置关系（伪坐标）的权重函数。
4.3 图池化模型
在图分类任务中，图池化是另外一个关键步骤。
最简单的方法就是平均数、取最大值、求和：mean/max/sum()
4.4 基于谱的和基于空间的模型间的对比
结论：基于空间的发展的越来越好，基于谱的不行了。
5. 其它的图卷积网络
第五部分的内容更加简略，基本上就是目录性质的内容，还是需要依次阅读具体文献才能了解其思想。因此这部分就不多说了。
5.1 图注意力网络
我们知道，注意力机制在机器翻译和自然语言理解等序列数据任务中取得了很大成功。如今，图神经网络也受益于注意力机制。下面将介绍注意力机制在图结构数据中的应用。
5.1.1 图注意力网络中的若干方法
图注意力网络（Graph Attention Networks，GATs）
（为了和GAN区别开来这里缩写为GAT）
门控注意力网络（Gated Attention Network，GANN）
图注意力模型（Graph Attention Model，GAM）
Attention Walks
5.2 图自编码器
5.3 图生成网络
5.4 图时空网络（Graph Spatial-Temporal Networks）