文章名称
【CIKM-2021】【Beijing University of Posts and Telecommunications/WeChat Search Application Department, Tencent Inc.】Contrastive Pre-Training of GNNs on Heterogeneous Graphs
核心要点
文章旨在解决现有预训练图神经网络方法仅仅适用于同质图，忽略了异质图的特点，并不能解决异质图网络对标签数据的以来。因此，作者提出CPT-HG方法，利用关系级别和子图级别的预训练任务，从大量异质图中学习通用的结构和语义信息。
这篇文章和PT-HGNN同出自石川老师团队，思路大同小异，可以一起对比着看。
方法细节
问题引入
GNN是处理图数据的有力工具，现实世界中大部分的数据可以被抽象为图数据，因此GNN的应用越来越广泛。GNN通过不断归纳邻居节点的属性和结构信息来学习图数据的特征。然而，GNN需要大量的标签数据，但是标签数据的获取费时费力。
现有方法利用图自监督学习，在无标签数据上进行预训练，学习可迁移的图知识。作者将图自监督方法大致分为2类，
- 在一部分图上进行预训练，在另一部分图上进行fine-tuning，每一个图是一个样本[13, 28]。
- 在图的一部分节点上预训练，在另一部分节点上fine-tuning，每个节点是一个样本[14]。
然而，不论是上述哪一种，都只适用于同构图。将图预训练方法应用于异构图上时存在2个挑战，
- 异构图中的节点和边具有不同的类型，如何学习异构嵌入表示，encode异构信息是一大挑战。
- 异构图中存在更丰富的语义信息，不同类型的组合导致了比同构图更丰富的多样性，数据也更稀疏，也更难保留高阶语义信息（或者说范围更广，而不仅仅是节点和边的语义信息）。
方法细节
为解决上述问题，作者提出了CPT-HG方法，尝试将预训练方法应用于异构图。如上所述，作者在节级别和子图级别分别构建用于对比学习的正负样本，并分别学习节点和高阶语义信息，其整体结构如下图所示。
- relation-level pre-train task。该层级的pre-train方法主要以一种固定的关系为轴（锚点），调整节点构造负样本。例如，表示一个文章-作者三元组，其关系为。作者将该关系类型下相连的节点视作正样本对，而用如下两种方法构造负样本。
inconsistent relations。给定一个三元组则其inconsistent relation负样本是指关系不同的三元组（当然其中一个节点要是或者）。例如，中的就是一个负样本与组成负样本对，表示边不是类型。具体可以形式化为如下图所示。
relation-level negative samples获得负样本对后，利用如下图所示的对比损失进行训练，值得注意的是，由于不同的边的关系类型不同，为了体现这种异质性，作者采用来投影头尾节点。
inconsistent relations contrastive lossunrelated nodes。现有方法在选择负样本时，一般选择图数据中不存在的连接关系作为负样本对，例如，与不相连的节点。但是此类方法选择的负样本太过于简单了，很容易被区分。因此，作者采用跳邻居的方式来构造负样本，例如，的跳邻居其中，这跳过程中的相连关系可以是任意，用表示，即得到的负样本对为，可以形式化为如下图所示，此处作者采用。
unrelated nodes获得上述负样本对后，利用如下图所示的对比损失进行训练，此处由于都是不是在不同类型的边之间对比，因此没有采用投影矩阵。
unrelated nodes contrastive loss
本节介绍了作者研究的背景和基本思路，并介绍了关系级别的预训练任务以及样本的构造方法。下节继续介绍子图级别的预训练任务。
心得体会
关系投影矩阵
在unrelated nodes的损失函数中要不要有感觉是需要实验的，从逻辑上讲，毕竟是靠关系紧密连接的，而其他跳负样本是靠任意复合的关系连接的。因此，也应该表明这种，
文章引用
[3] Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey E. Hinton. 2020. A Simple Framework for Contrastive Learning of Visual Representations. In ICML.
[11] Kaiming He, Haoqi Fan, Yuxin Wu, Saining Xie, and Ross B. Girshick. 2020. Momentum Contrast for Unsupervised Visual Representation Learning. In CVPR. 9726–9735.
[13] Weihua Hu, Bowen Liu, Joseph Gomes, Marinka Zitnik, Percy Liang, Vijay S. Pande, and Jure Leskovec. 2020. Strategies for Pre-training Graph Neural Networks. In ICLR.
[14] Ziniu Hu, Yuxiao Dong, Kuansan Wang, Kai-Wei Chang, and Yizhou Sun. 2020. GPT-GNN: Generative Pre-Training of Graph Neural Networks. In SIGKDD. 1857–1867.
[16] Zhipeng Huang, Yudian Zheng, Reynold Cheng, Yizhou Sun, Nikos Mamoulis, and Xiang Li. 2016. Meta Structure: Computing Relevance in Large Heterogeneous Information Networks. In SIGKDD. 1595–1604
[28] Jiezhong Qiu, Qibin Chen, Yuxiao Dong, Jing Zhang, Hongxia Yang, Ming Ding, Kuansan Wang, and Jie Tang. 2020. GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training. In SIGKDD. 1150–1160.