粗读《 用自监督图表示学习的全粒度自我语义传播》

---

粗读《 用自监督图表示学习的全粒度自我语义传播》

作者：Ling Yang 、Shenda Hong
单位：北京大学国家卫生数据科学研究院；北京大学健康科学中心医学技术 研究所
来源：ICML 2022

1.Abstract

无监督/自我监督的图表示学习对于下游的结点和图级分类任务至关重要。图的全局结构有助于辨别表示，现有的方法主要通过施加额外的监督来利用全局结构。然而，他们的全局语义通常对所有结点/图都是不变的，而且他们不能明确地嵌入全局语义以丰富表示。在本文中，我们提出了Omni-Granular Ego-Semantic Propagation for Self-Supervised Graph Representation Learning（OEPG）。具体来说，我们引入了实例自适应的全局意识的自我语义描述符，利用每个结点/图和整个图数据集的分层全局集群之间的一阶和二阶特征差异。这些描述符可以作为新的邻居结点明确地集成到本地图卷积中。此外，我们在自我语义的整个尺度和层次上设计了一个全方位的归一化，以便从全方位的角度为每个描述符分配注意权重。专门的前置任务和跨迭代动 量更新被进一步发展为局部-全球的相互适应。在下游任务中，OEPG在多个跨尺度和领域的数据集上实现了最佳性能，准确率提高了2%～6%。值得注意的是，OEPG还可以推广到数量和拓扑结构不平衡的情况。

2.Introduction

在过去的几年中，图学习的范式已经从结构模式发现(Leskovec et al., 2005; Borgatti & Everett, 2000; Milo et al., 2004; Newman, 2006; Watts & Strogatz, 1998)转移到图表示学习(Hamilton et al., 2017; Veliˇckovi´c et al., 2017)。在许多科学领域以及工业实践中，带标签的图结构数据是有限的，并且很难获得。因此，以无监督或自监督的方式学习表示变得愈加重要。
传统的无监督图表示学习方法，例如DeepWalk、node2vec和LINE，其目的是学习一种编码函数，该函数能够将结点转换为保留重要属性和结构特征的低维嵌入。最近的工作总结的了以不同方式进行图表示学习，包括通过元学习学习可转移的先验知识(Lu et al., 2021; Thakoor et al., 2021)和预测图的信息子结构。(Hu et al., 2019; Jiao et al., 2020; Zhang et al., 2020; 2021b)

受到强大的对比学习范式的启发(Oord et al., 2018; Chen et al., 2020; He et al., 2020)，图对比学习方法取得了显著的成功。最近的工作主要集中在设计拓扑(Hassani & Khasahmadi, 2020; Qiu et al.,2020)或者结点/边扩充(You et al., 2020a; Zhu et al., 2021b)，在图的的不同层次上(结点级和图级)确定对比对(Peng et al., 2020; Sun et al., 2019)。他们进行局部-全局或全局-全局对比(Zhu et al., 2021a)来区分表征，证明了全局语义的有效性。然而，他们对整个邻接矩阵的使用在扩展到大图时是不切实际的。最近一些全局级的自监督方法，侧重于利用全局语义来增强图表示学习，使用全局结构信息去指导局部预训练或施加额外的监督来进行信息学习。然而，它们对于全局语义的利用是隐形的，因为它们无法将全局结构信息明确地嵌入到表示中。此外，它们的全局语义对于所有的结点/图都是不变的，无法充分描述全局多样性以获得更好的区分性和表现性。

在文中，我们提出了OEPG去解决上述的问题。如图1-(Ι)，在对图数据集进行结点级或图级预训练之后，我们使用k-means在层次级别上获得全局集群。我们通过自我语义描述符来描述每个结点/图的实例适应性全局感知特性，该描述符以1-vs-N的方式利用自身与所有全局集群之间的一阶和二阶特征差异，如图1-(ΙΙ)。我们不直接使用全局集群来表示全局语义，因为从不同节点/图的自我角度看，它应该是实例适应性的。我们明确地将自我语义描述符纳入本地图卷积过程，以建立局部-全局特征传播的模型。与预测全局结构相关的成对距离（Jin等人，2020）或施加额外的全局结构监督（Xu等人，2021b）等隐性方法相反，我们的自我语义描述符可以被明确利用，使特征在本地语境和全局语义之间传播。

本文在自我语义的层次结构和尺度上设计了全粒度归一化，以在粗粒度和细粒度描述符之间引起交叉粒度的注意。它根据全粒度的贡献为每个描述符分配注意权重。归一化后，使用加权的自定义描述符和原始图 (或以节点为中心的子图) 以形成新的图，如图1-(III) 所示。为了充分利用新图/子图的本地和全局信息，我们通过执行相互对比和预测，进一步提出了涉及本地邻居和全局自我语义描述符的专门前置任务。为了充分地利用新图/子图的局部和全局信息，我们进一步提出了专门的前置任务，通过进行相互对比和预测，涉及局部邻居和全局自我语义描述符。考虑到训练过程中特征空间的动态变化，我们以移动平均的方式为全格自我语义描述符设计了一种跨迭代动量更新机制，以实现局部-全局的相互适应。值得注意的是，我们的OEPG的自我语义和全格归一化也适用于下游任务，因为它们是明确的特征或操作，从而缩小了预训练和应用之间的差距。此外，OEPG对数量和拓扑不平衡（Chen等人，2021年）的情况是稳健的，不需要额外的操作（如重新加权或过度取样）。

我们的主要贡献概括为以下几点。
 我们首先通过自我语义描述符明确描述了实例适应性的全局感知特征，利用结合的一阶和二阶特征差异来辨别和丰富表征。
 我们在自我语义的所有层次和尺度上提出了一个全方位的归一化，以便根据全方位的贡献为每个描述符分配注意力权重。
 为了在我们的框架中实现局部-全局的相互适应，我们提出了专门的任务和跨迭代的全方位动量更新。
 我们的OEPG在跨规模和跨领域的数据集上的多个下游任务中，以2%～6%的准确率大大超过了以前的方法，并可推广到数量和拓扑不平衡的情况。

3.总结

文章介绍了一种新的基于自监督的图表示学习的方法。但我真的看不懂，不会的知识点太多太多。继续努力，找新的文献。

4.补充知识点

1.Omni-Granular: 全方位粒度
2.什么是图表示学习(涉及了文中的方法)：

https://blog.csdn.net/weixin_44911248/article/details/124529434

3.网络空间中的结点如何转化为特征向量？结点需要映射为特征向量。