文章名称
【CIKM-2021】【Beijing University of Posts and Telecommunications/WeChat Search Application Department, Tencent Inc.】Contrastive Pre-Training of GNNs on Heterogeneous Graphs
核心要点
文章旨在解决现有预训练图神经网络方法仅仅适用于同质图,忽略了异质图的特点,并不能解决异质图网络对标签数据的以来。因此,作者提出CPT-HG方法,利用关系级别和子图级别的预训练任务,从大量异质图中学习通用的结构和语义信息。
这篇文章和PT-HGNN同出自石川老师团队,思路大同小异,可以一起对比着看。
方法细节
问题引入
GNN是处理图数据的有力工具,现实世界中大部分的数据可以被抽象为图数据,因此GNN的应用越来越广泛。GNN通过不断归纳邻居节点的属性和结构信息来学习图数据的特征。然而,GNN需要大量的标签数据,但是标签数据的获取费时费力。
现有方法利用图自监督学习,在无标签数据上进行预训练,学习可迁移的图知识。作者将图自监督方法大致分为2类,
- 在一部分图上进行预训练,在另一部分图上进行fine-tuning,每一个图是一个样本[13, 28]。
- 在图的一部分节点上预训练,在另一部分节点上fine-tuning,每个节点是一个样本[14]。
然而,不论是上述哪一种,都只适用于同构图。将图预训练方法应用于异构图上时存在2个挑战,
- 异构图中的节点和边具有不同的类型,如何学习异构嵌入表示,encode异构信息是一大挑战。
- 异构图中存在更丰富的语义信息,不同类型的组合导致了比同构图更丰富的多样性,数据也更稀疏,也更难保留高阶语义信息(或者说范围更广,而不仅仅是节点和边的语义信息)。
方法细节
为解决上述问题,作者提出了CPT-HG方法,尝试将预训练方法应用于异构图。如上所述,作者在节级别和子图级别分别构建用于对比学习的正负样本,并分别学习节点和高阶语义信息,其整体结构如下图所示。
- relation-level pre-train task。该层级的pre-train方法主要以一种固定的关系为轴(锚点),调整节点构造负样本。例如,表示一个文章-作者三元组,其关系为。作者将该关系类型下相连的节点视作正样本对,而用如下两种方法构造负样本。
inconsistent relations。给定一个三元组则其inconsistent relation负样本是指关系不同的三元组(当然其中一个节点要是或者)。例如,中的就是一个负样本与组成负样本对,表示边不是类型。具体可以形式化为如下图所示。
relation-level negative samples获得负样本对后,利用如下图所示的对比损失进行训练,值得注意的是,由于不同的边的关系类型不同,为了体现这种异质性,作者采用来投影头尾节点。
inconsistent relations contrastive lossunrelated nodes。现有方法在选择负样本时,一般选择图数据中不存在的连接关系作为负样本对,例如,与不相连的节点。但是此类方法选择的负样本太过于简单了,很容易被区分。因此,作者采用跳邻居的方式来构造负样本,例如,的跳邻居其中,这跳过程中的相连关系可以是任意,用表示,即得到的负样本对为,可以形式化为如下图所示,此处作者采用。
unrelated nodes获得上述负样本对后,利用如下图所示的对比损失进行训练,此处由于都是不是在不同类型的边之间对比,因此没有采用投影矩阵。
unrelated nodes contrastive loss
本节介绍了作者研究的背景和基本思路,并介绍了关系级别的预训练任务以及样本的构造方法。下节继续介绍子图级别的预训练任务。
心得体会
关系投影矩阵
在unrelated nodes的损失函数中要不要有感觉是需要实验的,从逻辑上讲,毕竟是靠关系紧密连接的,而其他跳负样本是靠任意复合的关系连接的。因此,也应该表明这种,
文章引用
[3] Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey E. Hinton. 2020. A Simple Framework for Contrastive Learning of Visual Representations. In ICML.
[11] Kaiming He, Haoqi Fan, Yuxin Wu, Saining Xie, and Ross B. Girshick. 2020. Momentum Contrast for Unsupervised Visual Representation Learning. In CVPR. 9726–9735.
[13] Weihua Hu, Bowen Liu, Joseph Gomes, Marinka Zitnik, Percy Liang, Vijay S. Pande, and Jure Leskovec. 2020. Strategies for Pre-training Graph Neural Networks. In ICLR.
[14] Ziniu Hu, Yuxiao Dong, Kuansan Wang, Kai-Wei Chang, and Yizhou Sun. 2020. GPT-GNN: Generative Pre-Training of Graph Neural Networks. In SIGKDD. 1857–1867.
[16] Zhipeng Huang, Yudian Zheng, Reynold Cheng, Yizhou Sun, Nikos Mamoulis, and Xiang Li. 2016. Meta Structure: Computing Relevance in Large Heterogeneous Information Networks. In SIGKDD. 1595–1604
[28] Jiezhong Qiu, Qibin Chen, Yuxiao Dong, Jing Zhang, Hongxia Yang, Ming Ding, Kuansan Wang, and Jie Tang. 2020. GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training. In SIGKDD. 1150–1160.