文献阅读(55)arXiv2021-Pre-Training on Dynamic Graph Neural Networks

本文是对《Pre-Training on Dynamic Graph Neural Networks》一文的浅显翻译与理解,如有侵权即刻删除。

朋友们,我们在github创建了一个图学习笔记库,总结了相关文章的论文、代码和我个人的中文笔记,能够帮助大家更加便捷地找到对应论文,欢迎star~

Chinese-Reading-Notes-of-Graph-Learning

更多相关文章,请移步:文献阅读总结:网络表示学习/图学习

文章目录

  • Title
  • 总结
    • 1 问题定义
    • 2 动态子图采样
    • 3 动态属性图生成
      • 3.1 动态边生成
      • 3.2 节点属性生成

Title

《Pre-Training on Dynamic Graph Neural Networks》

——arXiv2021

Author: Jiajun Zhang

总结

文章认为当前用在图上的预训练模型往往关注于静态网络,没有考虑到网络的动态变化。因此,提出了PT-DGNN算法,考虑在动态属性图上的预训练模型应用。具体而言,预训练部分通过构建以交互时间为权重概率的子图采样,对子图中的部分节点属性和边信息进行掩码。而后,通过生成掩码的节点属性和边来训练节点嵌入。微调部分,通过结合具体的下游任务(如链路预测),进一步训练有针对性的节点嵌入。该算法示意图如下:

文献阅读(55)arXiv2021-Pre-Training on Dynamic Graph Neural Networks_第1张图片

1 问题定义

文章首先对动态网络、表征学习和预训练等概念进行了定义:

文献阅读(55)arXiv2021-Pre-Training on Dynamic Graph Neural Networks_第2张图片

即,动态网络是包含节点交互信息的网络,还可能包含节点属性。网络表征学习,即将高维稀疏的网络结构数据压缩为低维稠密的节点嵌入向量,从而更适应下游任务的计算。

文献阅读(55)arXiv2021-Pre-Training on Dynamic Graph Neural Networks_第3张图片

在本文中,用于动态图神经网络上的预训练,是使用动态图生成任务实现的,即通过考虑边的时间信息来学习动态图的通用特征。

2 动态子图采样

预训练部分要进行子图采样后掩码,而动态图上的子图采样,要考虑到网络随时间演变的问题。在此,文章随机抽取w个节点作为初始采样节点,而后将节点交互时间视为权重概率,按照概率随机采样其邻居来构建子图。采样概率计算如下:

文献阅读(55)arXiv2021-Pre-Training on Dynamic Graph Neural Networks_第4张图片

具体的采样过程如下所示:

文献阅读(55)arXiv2021-Pre-Training on Dynamic Graph Neural Networks_第5张图片

3 动态属性图生成

为学习动态网络的演变,获取了随机采样的子图后,算法对子图进行了掩码。具体而言,掩码内容分为两部分,一种是对部分节点间边的掩码,目的是通过现有边预测未来边(遵从时间先后),即动态边生成。一种是对部分节点属性的掩码,目的是通过节点邻居属性计算被掩码的节点属性,即节点属性生成。对边的掩码过程如下:

文献阅读(55)arXiv2021-Pre-Training on Dynamic Graph Neural Networks_第6张图片

3.1 动态边生成

在这一部分,文章强调,要通过现有的边来预测未来的边,即必须遵守时间先后的规律,较早的交互得以保留,较晚的交互则被掩码。在这一过程中,通过生成节点嵌入r来预测两个节点间的交互可能性,从而生成动态边。公式如下所示:

文献阅读(55)arXiv2021-Pre-Training on Dynamic Graph Neural Networks_第7张图片

3.2 节点属性生成

在这一过程中,如果一个节点的属性被掩码了,那么其属性就会变为一个可学习的向量X’。而后,通过GNN来生成节点嵌入,并使用MLP来进行解码得到生成的节点属性。最终,通过约束生成属性和原有属性尽可能相似,来优化这一生成过程。

文献阅读(55)arXiv2021-Pre-Training on Dynamic Graph Neural Networks_第8张图片

你可能感兴趣的:(文献阅读,机器学习,数据挖掘)