【论文笔记】ImGCL：Revisiting Graph Contrastive Learning on Imbalanced Node Classification（简要笔记供复习使用）

ImGCL：Revisiting Graph Contrastive Learning on Imbalanced Node Classification

论文地址：Revisiting Graph Contrastive Learning on Imbalanced Node Classification.pdf

Contribution

• 利用一个自适应采样策略的对比学习框架解决了数据集不平衡（长尾数据集）的性能受限问题，具体来说，根据算法目前的学习情况形成伪标签，逐步将数据集调整至平衡

Motivation

• 前人的工作大多忽略了无监督学习数据集的长尾问题，对比当时的SOTA—GBTbaseline在Amazon-Computers数据集

  ​
  ​

• 有通过更改尾部数据集学习频次从而解决数据集长尾问题的方案但由于需要标签，几乎不能在无监督学习上work

Method

思路：利用对原图不同类别和不同重要性的节点进行不同比例的down-sampling获得子图，作为新的iteration的输入，从而对齐最后的testset数据比例，即均等比例

​
​

• Progressively Balanced Sampling (PBS)

  • Sampling Strategies

    $\begin{array}{rl}{p}_k& =\frac{N_k^q}{{\sum }_{i=1}^K{N}_i^q}\end{array}$表示了从$K$个类中采样某一个节点的概率，$N_k^q$表示第$k$类的节点个数，$q\in [0,1]$根据不同策略调整

  • PBS

    数据集设置：训练集long-tail，测试集balance

    令$q=1$，有$p_k^R=\frac{N_{\mathbf{k}}}{{\sum }_{i=1}^K{N}_{\mathbf{i}}}$，为适应训练集和测试集过渡，引入$\alpha =1-\frac{t}{T}$，有

    $\begin{array}{rl}{p}_k^{\mathrm{PB}}& =\alpha \ast p_k^R+(1-\alpha )\ast p_k^M\\ & =\alpha \ast \frac{N_k}{{\sum }_{i=1}^K{N}_i}+(1-\alpha )\ast \frac{1}{K}\end{array}$

• Online Clustering Based PBS

  • 为利用PBS方法适应性调整数据集类别分布，利用online cluster方法生成伪标签

  • 聚类方法使用K-Means，K是一个超参数数量等于下游分类任务的类别数

  • 学习一个形状为$D\times K$的质心矩阵C，对所有节点的embedding表示计算使下列值最小，则认为该节点属于这个类别

    K表示簇的数量，D是hidden dimension等同于节点embedding的长度，下式计算节点embedding和簇中心embedding的均方误差大小

    $\begin{array}{r}\underset{C\in {\mathbb{R}}^{D\times K}}{\min }\frac{1}{N}\sum _{n=1}^N\underset{{\hat{y}}_n}{\min }\Vert z_{t,n}-C{\hat{y}}_n{\Vert }_2^2\text{ such that}{\hat{y}}_n^{\top }{1}_K=1\end{array}$

    $z_{t,n}$表示第t个iteration时第n个节点的embedding，$z_{t,n}\in {\mathbb{R}}^D$

  • 以此获得独热向量${\hat{y}}_n\in {\mathbb{R}}_{+}^K$，表示节点属于第k个簇/类

• Node Centrality Based PBS

  • 计算节点中心性，根据节点重要性对不同类别节点进行down-sampling

  • 利用PageRank方法进行节点重要性/中心性的计算，$\sigma =\alpha A{D}^{-1}+1\text{, where }\sigma \in {\mathbb{R}}^N$，$A$是节点邻接矩阵，$D$是节点的度矩阵，循环多次直到稳定获得节点重要性

    即节点重要性的影响因素是节点本身的度，连接的节点的重要性，因此需要循环传播节点连接重要性

  • 对某个类的某个节点的采样概率为

    $p_{v,j}^{\mathrm{NPB}}=\min \left\{\frac{{\sigma }_v-{\sigma }_{\min }}{{\sigma }_{\max }-{\sigma }_{\min }}\cdot p_j^{\mathrm{PB}},p_{\tau }\right\}$

    $p_j^{\mathrm{PB}}$是PBS采样概率经正则化的概率小，即采样每类节点的概率，用于调整类别之间数量由不平衡线性过渡到平衡，$p_{\tau }$表示最低采样限度，防止部分边缘节点无法被采样

• summary

  ​
  ​

Details

• Dataset

  利用了四个常用的数据集作为直推节点分类任务的数据，分别是Wiki-CS, Amazon-computers, Amazon-photo, and DBLP

• Train Set

  8：1：1划分数据集，其中测试集验证集为平衡数据集，训练集不均等

  ​
  ​

• Different Type Imbalance

  • Exp Imbalance

    训练集不同类的采样比例遵循指数分布，参数越大越不平衡

  • Pareto Imbalance

    训练集不同类的采样比例遵循Pareto分布，参数越小越不平衡

  ​
  
  ​​​

‍