论文笔记--Semi-Supervised Classification with Graph Convolutional Networks（GCN）

Semi-Supervised Classification with Graph Convolutional Networks

GCN，将卷积扩展到图结构的数据中，能够得到比较好的数据表示，并且在半监督任务中取得了不错的效果

• 半监督学习：在给定的图结构的数据中，只有少部分节点是有标记的，大部分节点是未标记的。其任务就是预测出未标记节点的标签

摘要

• 提出了一个在图结构的数据中进行半监督学习的可伸缩的卷积神经网络
• 让卷积架构通过局部一阶近邻来做选择
• 模型随着图边数的增加线性扩展
• 学习局部图结构和节点特征的隐藏层表示

1 介绍

经典的方法：

1.1 standard approach

基于图的平滑显示正则，即假设相邻节点具有相似的label。第一项是有标记数据上的误差，第二项是平滑正则项，越大表明越相关，label也越接近。该假设在一定程度上限制了模型的表达能力**。**

1.2 embedding-based approach

基于embedding的，大致可以分为两步：先学习一个节点的embedding；在学得的embedding上训练一个分类器。缺点是embedding和分类器是分开学习的，因此可能达不到最优的效果。

1.3 我们的方法

将卷积扩展到图结构的数据上，实现end-to-end的训练分类器，两个主要贡献：

• 提出一个直接作用在图上按层传播的神经网络模型并且如何从图卷积的一阶逼近中激发它
• 该模型速度快、可扩展

2 图的快速近似卷积

A为邻接矩阵，公式中的为A加上单位矩阵，因为每个节点对自身是有影响的。D为度矩阵，公式中的为对角线为每个节点的度，其余元素为0的矩阵，公式中前后乘以它的这一步是为了正则化。H(0)为初始的节点特征矩阵。

paper中作者对其做了详细的理论解释，从Spectral Graph Theory推导而来。

3 Semi-Supervised Node Classification（半监督的节点分类任务）

该部分较为简单，在最后一层加上一个所有有标记数据上的交叉熵作为loss

4 相关工作（受到启发的工作）

• 基于图的半监督学习
• 图的神经网络

5 实验及结果

作者采用了四个常用的数据集，在准确率上取得了不错的效果

作者还对卷积公式推导过程中的中间步骤（不同的传播公式）进行了测试评价，得到的结果还是最终的形式准确率最高

训练的时间，证明了和图的边数是线性的关系

6 讨论

我们的模型克服了之前模型中存在的缺陷，如：

• 基于graph-Laplacian regularization的方法需要假设相邻点有相似编码
• 基于Skip-gram的方法因其难以优化的多步骤流水线而收到限制

但是本模型依旧存在着如下缺陷：

• 内存需求，当图较大时可能无法使用GPU，作者提出了mine-batch随机梯度下降的解决方法，但该方法需要进一步的近似
• 有向边和边特征，该模型不支持边的特征和有向图
• 限制性假设，作者指出第二节得到的公式仍旧使用了隐式的局部性假设，并且自连接相对于相邻节点的边具有着同等重要性。有时需要考虑这一问题

原文链接：https://arxiv.org/pdf/1609.02907.pdf