【网络表示学习】FastGCN

摘要

Kipf提出的GCN模型训练过程同时需要训练数据和测试数据，对于大图训练效率低。为了解决训练过程对测试数据的需要，本文提出了FastGCN模型，将图卷积操作解释为的embedding函数在概率度量下的积分变换。这种解释下，可以采用蒙特卡洛方法估计积分，并可以进行batch训练。FastGCN使用重要采样，在保持准确性的同时训练效率有了数量级的提升。

Model

类比SGD每个epoch随机选取一个样本进行梯度下降。对于图，可以通过丢弃随机样本点$i$ 的邻居节点，不再使用独立性，计算样本的梯度。$\nabla $

假设有一个无限大的图$G^{\prime }$ 以及节点集合$V^{\prime }$ ，以及相关联的概率空间 $(V^{\prime },F,P)$。给定一个图$G$ （$G^{\prime }$ 的生成子图）和其节点$V$是节点集合$V^{\prime }$ 在概率度量$P$下的独立同分布样本。对于概率空间，$V^{\prime }$ 作为样本空间，$F$作为事件空间（$F=2^{V^{\prime }}$）。概率度量$P$ 定义了一个采样分布。

为了解决由卷积引起的缺乏独立性的问题，我们解释如下：网络的每一层都定义了顶点（随机变量）的嵌入函数，这些函数与相同的概率度量相关但是是独立的。