【论文笔记】BGRL：Large-Scale Representation Learning on Graphs via Bootstrapping（简要笔记供复习使用）

BGRL:Large-Scale Representation Learning on Graphs via Bootstrapping

文章地址：Large-Scale Representation Learning on Graphs via Bootstrapping

Motivation

• 现有自监督学习的方法大多需要大量的负样本和大规模的数据增强，而选择负样本的原则的缺失导致负样本不一定会增加模型精度，尤其是在大模型中

• CV领域出现了无负例对比学习方法BYOL

Contribution

• 受CV方向BYOL的启发，将图对比任务变为一个样本预测的问题，训练只需要简单的样本增强并抛弃了负例

Method

• 先利用Augmentation对图进行增强，经过一个GNN动量编码器层（同Moco），再经过一个GNN的预测层$p_{\theta }$完成两个视图的构建

  • 注：计算Loss时没有先使用BYOL中类似的FFN进行降低维度操作，对图任务利用FFN会导致维度过小信息不足
  • 对比所有节点对的余弦相似度使二者靠近，并且做了对称损失
  • symmetry-breaking technique对称性破坏技术

• Loss

  $-\frac{2}{N}{\sum }_{i=0}^{N-1}\frac{{\mathbf{Z}}_{(1,i)}{\mathbf{H}}_{(2,i)}^{\top }}{\Vert {\mathbf{Z}}_{(1,i)}\Vert \Vert {\mathbf{H}}_{(2,i)}\Vert }$

  直观解释：对两图中对应节点取余弦距离，并求和取平均

• Augmentation

  • 利用固定概率的节点维度掩码和边掩码（沿用GRACE），便于后期Loss计算，不使用节点屏蔽增强

Details

• Complexity Analysis

  

  由于不需要负样本，因此可以大幅降低内存消耗

• Experimental Analysis

  

‍