Self-supervised Training of Graph Convolutional Networks

动机：
GCNs需要邻接矩阵作为输入来定义这些非网格数据之间的关系，这就导致所有的数据，包括训练数据、验证数据和测试数据，通常只形成一个用于训练的图结构数据。此外，邻接矩阵通常是预定义的且平稳的，这使得数据增强策略不能在构造的图结构数据上使用来增加训练数据的数量。为了进一步提高有限训练数据下的学习能力和模型性能
贡献：
提出从输入图结构数据本身中挖掘可用信息，以提高基于图的模型的学习识别能力和性能。与图像或视频等常规网格数据不同，图结构使用边来存储结构信息以及节点之间的关系。除了结构信息之外，图中的每个节点还包含一个存储节点表示的特征向量。为了利用这些信息，本文提出了两种自监督学习策略:随机删除链接(RRL)和随机覆盖特征(RCF)。我们提出的自监督学习(SSL)策略不需要任何标记信息来进行特征学习，而是只使用图结构数据本身提供的信息。这些信息可以为特征学习提供替代监督信号。

框架：

该框架包括三个部分：输入模块，链接预测模块和目标任务模块。
特征学习:该模块是整个框架的主要部分，以一个节点特征为输入的图，为每个节点生成一个潜在的特征表示。在SSL阶段，该模块与链路预测模块共同训练，完成链路预测任务;
该模块的输入是信息不完整的图数据，如缺少部分边或特征。特征学习模块通过链接预测的自监督学习任务，在训练过程中探索节点表示和图结构信息。在分类阶段，该模块与分类模块进行端到端的联合训练，进行节点分类。该部分的体系结构由多个卷积层构成;在这个模块中可以使用光谱卷积层或空间卷积层。采用最常用的频谱卷积层，近似为一阶切比雪夫多项式。
链接预测和特征完成
受SSL改进功能学习能力的进步的启发，将SSL引入GCN以提高性能。 通常，SSL过程包括以下步骤。 第一步涉及从图像或视频本身中挖掘信息，并设计特定的培训策略； 第二步是按照培训策略对SSL网络进行培训； 第三是使用SSL网络提供的权重初始化目标网络。 最后，第四步在训练数据集上微调目标网络。 按照上述步骤，设计了两种SSL策略，即随机删除链接（RRL）和随机覆盖特征（RCF），以使GCN从图数据本身学习节点表示形式。 这两个SSL过程均由链接预测模块完成。 该模块的目的是预测两个节点之间是否存在链接。
RRL与RCF的结构

随机删除链接（RRL）：图边缘是图数据中最重要的结构之一，它存储图结构信息并表示节点之间的关系。 另外，GCN还学习沿边缘的节点表示。 为了使GCN能够利用图的结构信息，设计了一种SSL策略，称为SSL的随机删除链接（RRL），如上图（a）所示。 此pretext任务首先随机删除图形内部的部分边缘，然后要求GCN模型预测输入图形的图形链接。

随机覆盖要素（RCF）：除结构信息外，每个节点还包含一个存储节点表示形式的特征向量。由于图像信息存储在像素内部，并且特征矢量包含图中每个节点的所有特征信息，因此可以使具有特征矢量的节点与图像完全相似。在图像领域，图像修复是确保模型能够理解图像内容的有效pretext任务。此pretext任务需要模型重建训练期间随机擦除的缺失部分。许多实验已经证明，此pretext任务可以显着提高模型性能。受图像修复领域的进步的启发，本文提出了一种类似的自我监督策略，称为随机覆盖特征（RCF），以进一步利用图数据中的信息，如上图（b）所示。在此pretext任务中，在训练期间随机覆盖特征向量内的部分特征，并监督模型以预测节点之间的链接。

实验：