图神经网络论文阅读(三) Inductive Representation Learning on Large Graphs，NIPS2017

本文的三位作者均来自斯坦福大学计算机系，他们提出一个通用的归纳框架GraphSAGE（空域卷积）。该框架通过从节点的本地邻居中采样和聚集特征来生成嵌入，并且提出了三种不同的聚合邻居特征的方式，这使得卷积的操作更贴近于直观上的CNN。本模型也可以应用于半监督甚至是无监督的任务。

Model

至于Relative work中涉及到的图embedding方法（Node2vec、因子分解机等）就不过多介绍了，直接看模型的原理。按照论文的思路，首先介绍了模型的正向传播方法（假设模型已经被训练并且参数是固定的）。

Embedding generation algorithm

首先假定已经学习了K个聚合函数以及权重矩阵，它用于用于在模型的不同层之间传递信息。算法1在每次迭代或搜索深度时，节点会聚合来自其本地邻居的信息，随着这个过程的迭代，节点会从图的更远处获得越来越多的信息。

Line1:每个结点最初的特征由input feature表示，在经过k次邻居特征聚合之后，变成。
Line4:每个结点都聚合邻居的特征得到。此处的邻居并不是所有的邻居结点，而是一个固定大小的采样。通过这个采样，降低了模型的时间复杂度，并且经过研究发现，K=2的时候效果是最好的。
Line5:当前结点的特征与聚合得到的邻居特征进行拼接，之后被fed到一个全连接层，输出第k次传播之后的特征。
Line7:通过二范式进行归一化。
不同的聚合方式将在后面的章节进一步探讨。

Embedding generation algorithm

为了在完全无监督的情况下学习有用的预测表示法，我们对输出表示法应用了一个基于图的损失函数。其损失函数基于这样一种思想：基于图的损耗函数鼓励附近的节点具有相似的表示，同时强制不同节点的表示高度不同。

其中，v表示在固定长度的随机游走中出现在u附近的结点；是sigmoid函数，Pn是负采样的分布，Q表示邻居结点负采样的个数。这个损失函数在直观上需要最小化结点与邻居结点之间的距离，而最大化结点与非邻居结点之间的距离。重要的是，与以前的嵌入方法不同，我们提供给这个丢失函数的表示zu是从一个节点的本地邻居中包含的特性生成的，而不是为每个节点训练一个唯一的嵌入。

Aggregator Architectures

与欧式空间的操作不同，GCN中的聚合函数应该是适用于无序的数据，理想情况下，聚合器函数应该是对称的(即，输入序列的排列不变)，同时仍可训练并保持较高的表达能力。聚集函数的对称性保证了我们的神经网络模型可以被训练和应用于任意有序的节点邻域特征集。我们研究了三个候选的聚合器函数：

• Mean aggregator：通过将算法1中的Line5替换成如下公式：
  进行平均聚合，它是局部频谱卷积（Kipf的论文）的粗略线性近似。

• LSTM aggregator：与简单的平均相比，LSTM具有更强额表述能力，但是并不是对称的。通过对邻居结点的随机顺序采样来调整LSTMs以对无序集进行操作

• Pooling aggregator：对称且可训练的。在这种池方法中，每个邻居的向量通过一个完全连接的神经网络独立地输入，并在最大化之后达到了聚合最明显的特征的效果。公式如下：
  
  最大池化与平均池化的效果并无显著差异。

实验

可以看出模型在有监督和无监督的任务上都取得了比较好的效果。

从时间复杂度来看，在大规模数据集上模型的训练速度是远远优于Deep Walk的（图A）；同时，在邻居样本数量大概处于35左右的时候训练所需的时间以及结果的准确率都取得比较好的效果。