图神经网络（二十六）Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networ

本文收录于KDD2019，作者来自国立台湾大学。图卷积网络已经成功地应用于许多基于图数据的应用，然而，但对于大型GCN来说其训练仍然具有挑战性，目前基于SGD的算法要么面临着随GCN层数呈指数增长的高昂计算成本，要么面临着保存整个图形和每个节点的embedding到内存的巨大空间需求。本文作者提出了基于图聚类优化的图卷积神经网络（Cluster-GCN），使得图卷积神经网络计算效率能在时间空间收敛性等多方面得到较大的提升，让很多过去难以训练，难以部署的模型在大规模环境中得以应用。具体来说，Cluster-GCN的工作原理如下：在每个步骤中，它对一个与通过用图聚类算法来区分的密集子图相关联的一组节点进行采样，并限制该子图中的邻域搜索。这种简单且有效的策略可以显著提高内存和计算效率，同时能够达到与以前算法相当的测试精度。这篇和上一篇的L-GCN的目的都是偏向于优化，源码在这

Introduction

图卷积网络在很多基于图的应用程序已经获得较好的表现，但对于大型GCN来说，当前的SGD算法计算成本很高，而且随着GCN的层数呈指数型增长，并且大型网络的存储也需要大量的空间。小批量算法的效率可以用“嵌入利用率”的概念来描述，它与一个批量或批内的节点之间的链接数量成正比。作者的贡献如下：

• 作者创建了一个比之前的Reddit数据集大五倍的Amazon2M数据集。
• 本文提出的Cluster-GCN，其在训练时间和使用的内存上有明显的提升，并且对于训练较为高层的GCN没有压力，实验中五层的GCN的F1分数达到了99.36。
• 训练图卷积网络的过程中，