图神经网络(二十四) STRATEGIES FOR PRE-TRAINING GRAPH NEURAL NETWORKS, ICLR 2020

本文作者来自斯坦福、爱荷华以及哈佛。
图的预训练与Bert类似，通过对单个节点和整个图级别预先训练一个GNN模型，以便GNN可以同时学习有用的局部和全局表示，然后可以针对下游任务进行微调。但是在整个图或单个节点级别预训练gnn的策略，提供的改进有限，甚至可能导致许多下游任务的负迁移。本文提出的节点以及图一起预训练的方式，避免了负迁移，并显著改善了下游任务的泛化结果：

（a.i）当只使用节点级预训练时，不同形状的节点(语义上不同的节点)可以很好地分离，但是节点嵌入不能组合，因此通过池化节点级嵌入所生成的图嵌入(+和-表示)是不可分离的。同理（a.ii）中的以图训练为基础的方式使得模型对节点的区分不足。本文提出了几种不同的训练方式，Context Prediction, Attribute Masking, graph-level supervised pre-training
(Supervised Attribute Prediction) 支持节点级和图级的预训练。
具体来说，本文的贡献如下：

1. 建立了两个新的大型预训练数据集，并与社区共享:一个包含200万幅图的化学数据集和一个包含395K幅图的生物学数据集。我们还表明，大型领域特定的数据集对于研究预训练是至关重要的，而现有的下游基准数据集太小，无法以统计可靠的方式评估模型。