菜鸟笔记之《Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning》

        这篇论文是关于图卷积网络应用在半监督学习方面的深度见解，图卷积网络的理解提供了独特的视角，同时在原始模型的基础上提出了改进，出自香港理工大学，是一篇好文。作者思路很清晰，我将按照文章结构分以下几个方面进行浅析：GCN的理解，模型，实验。

GCN理解篇

       基于图的半监督学习模型是通过寻找图结构和数据特征之间的连接模型进行学习。GCN的图卷积算子本质上是拉普拉斯平滑的特殊形式，同时也是GCN得以有效的主要原因，然而，很容易过拟合，因为卷积层结构越深，就会使得不同类别的节点相似化，输出特征被过平滑了。因此，现有图卷积的模型都是浅层结构，不超过3层。同时我们注意到，训练过程中，需要大量的额外标签（其实我认为还好，在原始模型的那篇论文实验中，训练集的有标签节点也只有140个，占网络总共节点的十分之一不到，感觉这个大量应该给与验证，或者是一个比例性的阈值；同时，对于不同分布形状的网络，GCN的适应性也存在问题，例如极其稀疏的非连通网络问题，即使已知大部分节点，仍然难以将标签信息传播至网络中的任意节点上）。为了解决这个问题，本文提出了基于co-training 和 self-training的探索特征提取能力的算法。

模型概述

       作者先仅考虑一层卷积的情况，如下图所示，控制当前节点和其邻居节点之间的聚合权重情况，共同影响的输出特征。该算法借鉴ParWalks随机游走的思想，同时由于非连通子图的存在，GCN式的算法并不适用于全图上的图结构探索。

co-training原理图.PNG

       作者想法很简单，为了减少标签样本的采样，从节点所在网络和自身特征入手，也很巧妙，类似于node2vec中的p,q两个参数，来控制各类采样的选择依据。提出了通过ParWalks（即co-training）和self-training的标签集扩充方法（所以，标签节点并没有减少呀，感觉只是采样方法改进了，那么这个前提是网络中节点已知且不考虑时间先后，只要满足善法1，2的都可采，都可用来扩充?）。如图所示，代表节点i通过随机游走吸收邻居节点的概率。算法第三行是指从特定的类别k的节点中选择最大的t个节点，加入到k类节点的几何中进行训练。感觉类似于在每个类节点中添加t个节点。（这种方法我的疑问是，即这个概率矩阵是怎么求得的，而且增加的这t个节点其实也是事先知道标签的，所以这样做的意义是什么，仅仅是样本扩充？代替随机采样？）

       

co-training算法.PNG

       算法2是通过比较每一类节点中节点间的softmax score，就是通过节点特征相似性这样对节点GCN的一层输出进行扩充，找出和i节点特征最相似的t个节点加图训练集中。

self-training算法.PNG

最后，将这两个算法进行组合，形成Union算法。

实验结果

如图所示，对应不同的一直标签占比，即训练集样本，相比其他模型如GCN，标签传播算法，在cora上的结果Union要显著好于其他算法。

实验结果.PNG

作者原创，欢迎交流，如需转载请先联系作者。