2021-IJCA-Masked Label Prediction Unified Message Passing Model for Semi-Supervised Classification

2021-IJCA-Masked Label Prediction Unified Message Passing Model for Semi-Supervised Classification

GNN通过神经网络形成特征传播来进行预测，而LPA使用跨图邻接矩阵的标签传播来获得结果。然而，仍然没有有效的方法将这两种算法直接结合起来。

模型

作者使用Graph Transformer，联合使用标签嵌入将上述特征和标签传播结合在一起，构建UniMP模型。此外，引入了一种屏蔽标签预测策略来训练我们的模型，以防止标签泄漏问题。

方法
已知定节点特征$H^{(l)}=\left\{h_1^{(l)},h_2^{(l)},\dots ,h_n^{(l)}\right\}$,计算从 j 到 i 的每条边的多头注意力:
$$\begin{array}{c}{q}_{c,i}^{(l)}=W_{c,q}^{(l)}{h}_i^{(l)}+b_{c,q}^{(l)}\\ k_{c,j}^{(l)}=W_{c,k}^{(l)}{h}_j^{(l)}+b_{c,k}^{(l)}\\ e_{c,ij}=W_{c,e}{e}_{ij}+b_{c,e}\\ {\alpha }_{c,ij}^{(l)}=\frac{⟨q_{c,i}^{(l)},k_{c,j}^{(l)}+e_{c,ij}⟩}{{\sum }_{u\in N(i)}⟨q_{c,i}^{(l)},k_{c,u}^{(l)}+e_{c,iu}⟩}\end{array}$$
其中，$⟨q,k⟩=\exp \left(\frac{q^{T}k}{\sqrt{d}}\right)$是幂级点积函数，$d$ 是每个头部的隐藏大小。对于第 $c$个头部注意，首先将源特征$h_i^{(l)}$和远距特征$h_j^{(l)}$转换为查询向量$q_{c,i}^{(l)}\in {\mathrm{R}}^{\mathrm{d}}$和键向量$k_{c,j}^{(l)}\in {\mathrm{R}}^{\mathrm{d}}$分别使用不同的可训练参数$W_{c,q}^{(l)},W_{c,k}^{(l)},b_{c,q}^{(l)},b_{c,k}^{(l)}$
提供的边缘特征 $e_{c,ij}$ 将被编码并添加到关键向量中，作为每个层的附加信息。在得到图的多头注意后，从远处的 $j$ 到源 $i$ 进行消息聚合：
v c , j ( l ) = W c , v ( l ) h j ( l ) + b c , v ( l ) h ^ i ( l + 1 ) = ∥ c = 1 C [ ∑ j ∈ N ( i ) α c , i j ( l ) ( v c , j ( l ) + e c , i j ) ] \begin{gathered} v_{c, j}^{(l)}=W_{c, v}^{(l)} h_j^{(l)}+b_{c, v}^{(l)} \\ \hat{h}_i^{(l+1)}=\|_{c=1}^C\left[\sum_{j \in N(i)} \alpha_{c, i j}^{(l)}\left(v_{c, j}^{(l)}+e_{c, i j}\right)\right] \end{gathered} vc,j(l)​=Wc,v(l)​hj(l)​+bc,v(l)​h^i(l+1)​=∥c=1C​ ​j∈N(i)∑​αc,ij(l)​(vc,j(l)​+ec,ij​) ​​
其中||是 c 个头注意力的连接操作多头注意矩阵取代了原始的归一化邻接矩阵作为消息传递的转移矩阵。

然后是残差连接，防止模型过度平滑
$$\begin{array}{c}{r}_i^{(l)}=W_r^{(l)}{h}_i^{(l)}+b_r^{(l)}\\ {\beta }_i^{(l)}=\mathrm{sigmoid}\left(W_g^{(l)}\left[{\hat{h}}_i^{(l+1)};r_i^{(l)};{\hat{h}}_i^{(l+1)}-r_i^{(l)}\right]\right)\\ h_i^{(l+1)}=\mathrm{RELU}\left(\mathrm{LayerNorm}\left(\left(1-{\beta }_i^{(l)}\right){\hat{h}}_i^{(l+1)}+{\beta }_i^{(l)}{r}_i^{(l)}\right)\right)\end{array}$$

多头平均，删除线性变换
h ^ i ( l + 1 ) = 1 C ∑ c = 1 c [ ∑ j ∈ N ( i ) α c , i j ( l ) ( v c , j ( l ) + e c , i j ( l ) ] h i ( l + 1 ) = ( 1 − β i ( l ) ) h ^ i ( l + 1 ) + β i ( l ) r i ( l ) \begin{gathered} \hat{h}_i^{(l+1)}=\frac{1}{C} \sum_{c=1}^c\left[\sum_{j \in N(i)} \alpha_{c, i j}^{(l)}\left(v_{c, j}^{(l)}+e_{c, i j}^{(l)}\right]\right. \\ h_i^{(l+1)}=\left(1-\beta_i^{(l)}\right) \hat{h}_i^{(l+1)}+\beta_i^{(l)} r_i^{(l)} \end{gathered} h^i(l+1)​=C1​c=1∑c​ ​j∈N(i)∑​αc,ij(l)​(vc,j(l)​+ec,ij(l)​]hi(l+1)​=(1−βi(l)​)h^i(l+1)​+βi(l)​ri(l)​​

标签嵌入和传播

$$H^{(l)}={\left((1-\beta )A^{\ast }+\beta I\right)}^l\left(X+Y{W}_d\right)W^{(1)}{W}^{(2)\dots W^{(l)}}={\left((1-\beta )A^{\ast }+\beta I\right)}^{l}XW+{\left((1-\beta )A^{\ast }+\beta I\right)}^{l}Y{W}_{d}W$$
其中模型近似分解为特征传播${\left((1-\beta )A^{\ast }+\beta I\right)}^{l}XW$和标签传播$((1-\beta )A^{\ast }+\beta I{)}^{l}Y{W}_{d}W$

屏蔽标签预测
在给定 X 和 A 的情况下监督训练其模型参数$\theta$：
$\underset{\theta }{\mathrm{argmax}}\log p_{\theta }(Y\mid X,A)={\sum }_{i=1}^V\log p_{\theta }\left(y_i\mid X,A\right)$

图神经代码

import torch
import torch.nn.functional as F
from torch_geometric.nn import TransformerConv
class Transformer(torch.nn.Module):
    #初始化
    def __init__(self, hidden_channels):
        super(Transformer, self).__init__()
        torch.manual_seed(12345)
        self.conv1 = TransformerConv(10, hidden_channels,dropout=0.5) #GCNConv更换为TransformerConv
        self.conv2 = TransformerConv(hidden_channels, 2,dropout=0.5)#GCNConv更换为TransformerConv
	#前向传播
    def forward(self, x, edge_index):
        x = self.conv1(x, edge_index)
        x = x.relu()
        x = F.dropout(x, p=0.5, training=self.training)
        x = self.conv2(x, edge_index)
        #注意这里输出的是节点的特征，维度为[节点数,类别数]
        return x
    
x = torch.randn(4, 10)
edge_index = torch.tensor([[0,0,0,1,1,2],[1,2,3,2,3,3]])

model = Transformer(36)
res = model(x, edge_index)
print(res)