图神经网络自监督学习工具箱 - GraphSurgeon

文章名称

【Arxiv-2021】【KTH Royal Institute of Technology】JOINTLY LEARNABLE DATA AUGMENTATIONS FOR SELF-SUPERVISED GNNS

核心要点

文章旨在解决现有图神经网络对比学习方法需要人工设计图增广方法且依赖额外的trick解决Siamese结构中存在平凡解的问题，提出GRAPHSURGEON方法。该方法首先联合训练embedding学习和图增广方法，随后利用学习的图增广方法在隐向量空间中进行post augmentation。该方法高效且节省资源，并基于Laplacian Eigenmaps的思想，利用可扩展的约束优化目标，在避免显示的进行负采样的情况下，解决平凡解问题。

研究背景

图自监督学习利用预训练任务学习可迁移的图表示，以期在下游任务中减少对人工标签的依赖。然而，学习对下游任务和预训练任务不变（invariant）的图表示是非常具有挑战的[Misra and van der Maaten (2019)]。因此，一系列图对比学习方法利用Siamese结构[You et al. (2021)]（也就是利用两个对比视图，当然有的网络也是双塔但是参数不同），提升自监督效果。图对比学习方法将学习可迁移特征表示的挑战转换为设计合适的图增广方法的挑战。

此外，现有图对比学习（应该说是所有学习方法）通过最大化正样本对（不同视图下的同一节点的输入，或其他组合产生的正样本）的一致性，来学习模型参数和图表示。由于很难直接进行准确的负采样，现有方法一般采用一些trick，例如模型结构，权重差异或更新策略，在避免出现平凡解（平凡的负样本，比如常数等）的情况下绕过直接负采样。

方法细节

Data Augmentation

如前所述，不同于现有的pre-augmentation方法，作者采用post-augmentation方法进行图增广。给定输入的图以及图增广方法集合。首先利用encoder（可以是各种GNN，例如GCN）的到图嵌入表示。随后，选择两个不同的增广方法，得到两个图增广后的图。post-augmentation与pre-augmentation的对比如下图所示。

compare of post-augmentation and pre-augmentation

Joint Training of the Parameters

获得增广后的对比视图以及正样本对（因为是post-augmentation，所以不会在经过额外的encoder）。可以直接利用对比损失进行学习。

但是如前所述，为了避免无法显示筛选负样本导致需要用一些trick绕过平凡解的问题，作者采用Laplacian Eigenmaps[Belkin and Niyogi (2003)]，最小化normalize之后的图表示向量之间的MSE，并对两个向量进行正交约束，确保与其自身比较相似，但与其他向量正交。其具体的计算公式如下图所示。

constrained optimization objective

为了方便求解，采用拉格朗日乘子放松约束，得到如下图所示的优化目标。

relaxed constrained optimization objective

到这里还没完，由于图数据一般样本数量远大于特征数量，也就是。因此，作者对正交约束部分做了微小的改动。即，这样可以避免计算并保存的矩阵，而不是，极大地节省了计算资源，保证了可扩展性。

代码实现

GraphSurgeon的训练伪代码如下图所示。

pseudo code

心得体会

显示负采样

个人感觉，对比学习相当于采用显示的正样本对齐和利用其他样本大概率是负样本的策略进行参数学习。也许与其他方法结合，能够从正反两个方向提升模型效果。

Laplacian Eigenmaps

文中利用Laplacian Eigenmaps的方式消除平凡解，值得借鉴。

文章引用

[Misra and van der Maaten (2019)] Ishan Misra and Laurens van der Maaten. 2019. Self-Supervised Learning of Pretext-Invariant Representations. CoRR abs/1912.01991 (2019). arXiv:1912.01991 http://arxiv.org/abs/1912.01991

[You et al. (2021)] Yuning You, Tianlong Chen, Yang Shen, and Zhangyang Wang. 2021. Graph Contrastive Learning Automated. CoRR abs/2106.07594 (2021). arXiv:2106.07594 https://arxiv.org/abs/2106.07594

[Belkin and Niyogi (2003)] Mikhail Belkin and Partha Niyogi. 2003. Laplacian Eigenmaps for Dimensionality Reduction and Data Representation.
Neural Computation 15, 6 (2003), 1373–1396. https://doi.org/10.1162/089976603321780317