图神经网络笔记（二）——卷积图神经网络概述

• 卷积图神经网络主要分为两类：
  • 1）基于谱分解的方法；
  • 2）基于空间结构的方法；

基于谱分解的方法

• 四种经典模型：Spectral Network, ChebNet, GCN, AGCN

Spectral Network

• Joan Bruna等人14年提出，通过计算图的拉普拉斯矩阵的特征分解，在傅里叶域中定义卷积运算。该运算可以定义为信号$x$与一个卷积核$g_{\theta }$的乘积:
  • $g_{\theta }★x=U{g}_{\theta }(\Lambda )U^{T}x$
  • $U$是归一化拉普拉斯矩阵的特征向量组成的矩阵，即$L=I_N-D^{\frac{1}{2}}A{D}^{-\frac{1}{2}}=U\Lambda U^T$。
  • $D$表示图的度矩阵，$A$表示邻接矩阵，$\Lambda$表示特征值的对角矩阵。

ChebNet

• 11年David Hammond等人提出用切比雪夫多项式的前K阶$T_k(x)$逼近$g_{\theta }(\Lambda )$：

  • $g_{\theta }★x\approx {\sum }_{k=0}^K{\theta }_k{T}_k(\tilde{L})x$
  • 切比雪夫多项式：$T_k(x)=2x{T}_{k-1}(x)-T_{k-2}(x)$，其中$T_0(x)=1,T_1(x)=x$
  • $\tilde{L}=\frac{2}{{\lambda }_{max}}L-I_N$，${\lambda }_{max}$是$L$的最大特征值，$\theta$是切比雪夫多项式系数组成的向量。

• 16年Michael Defferrard等人用上述的K跳卷积定义图上的卷积，提出ChebNet，省去了计算拉普拉斯矩阵特征向量的过程。

GCN

• 17年，Thomas Kipf和Max Welling在ChebNet的基础上将层级运算的K限制为1，以此缓解模型在节点的度分布范围较大的图上存在的局部结构过拟合的问题。不仅如此， 假定${\lambda }_{max}\approx 2$，公式可简化为：

  • $g_{{\theta }^{{}^{\prime }}}★x\approx {\theta }_0^{{}^{\prime }}x+{\theta }_1^{{}^{\prime }}(L-I_N)x={\theta }_0^{{}^{\prime }}x-{\theta }_1^{{}^{\prime }}{D}^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}x$
  • 其中${\theta }_0^{{}^{\prime }}$，${\theta }_1^{{}^{\prime }}$可调节，将其限制为$\theta ={\theta }_0^{{}^{\prime }}=-{\theta }_1^{{}^{\prime }}$，公式最终简化为：$g_{\theta }★x\approx \theta (I_N+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}})x$

• 若使用上述方法在节点上迭代执行，运算可能会导致数值的不稳定以及梯度消失或爆炸问题。因此，Renormalization(重归一化)被引入。

  • $I_N+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}\to {\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}$
  • $\tilde{A}=A+I_N$，${\tilde{D}}_{ii}={\sum }_j{\tilde{A}}_{jj}$
  • $Z={\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}X\Theta$

AGCN(Adaptive GCN)

• 为学习不同节点之间可能存在的隐式关系，AGCN被提出。AGCN可以学习“残差”图拉普拉斯矩阵$L_{res}$并将其添加到原始的拉普拉斯矩阵中：$\hat{L}=L+\alpha L_{res}$

  • $L_{res}=I-{\hat{D}}^{-\frac{1}{2}}\hat{A}{\hat{D}}^{-\frac{1}{2}}$
  • $\hat{D}=degree(\hat{A})$，$\hat{A}$是通过一个学习获得的度量指标计算得到的。

• AGCN使用广义的Mahalanobis distance（马哈诺比斯距离）计算节点距离：

  • $D(x_i,x_j=\sqrt{(x_i-x_j{)}^{T}M(x_i-x_j)})$
  • $M=W_d{W}_d^T$，是一个学习得到的矩阵。$W_d$是自适应空间的转换基础。

• AGCN计算高斯核并将其归一化，以获得密集邻接矩阵$\hat{A}$：

  • $G_{x_i,x_j}=exp(-D(x_i,x_j/(2{\sigma }^2))$

基于空间结构的方法

• 谱方法的卷积核都依赖于拉普拉斯矩阵的特征基向量，而后者取决于图的结构。这意味着针对特定结构训练的模型不能直接用于具有不同结构的图，即模型泛化性较差。基于空间结构的方法则直接在图上定义卷积运算，从而针对在空间上相邻的邻域进行运算。这种方法的主要挑战是针对大小不同的邻域卷积运算并保持CNN的局部不变性。

Neural FP

• David Duvenaud等人15年提出针对具有不同度的节点使用不同的权重矩阵：

  • $x=h_v^{t-1}+{\sum }_{i=1}^{|N_v|}{h}_i^{t-1}$
  • $h_v^t=\sigma (x{W}_t^{|N_v|})$
  • $W_t^{|N_v|}$是第$t$层、度为$|N_v|$的节点的权重矩阵，$N_v$表示节点$v$的相邻节点集合，$h_v^t$是节点$v$在第$t$层的嵌入表示。

• Neural FP首先将相邻节点连同本身的嵌入表示累加，然后使用权重矩阵进行转换。但在节点具有多种度的大规模图上，会由于参数量太大而难以应用。

PATCHY-SAN

• 该模型首先为每个节点选择k个相邻节点并归一化，然后将这些经过归一化的相邻节点作为感受野进行卷积。主要步骤如下：
  1. 选择节点序列 模型并不会处理途中所有的节点，而会先通过节点标注来获得节点的顺序，然后使用s大小的步长在序列中选择节点，直到选中w个节点为止。
  2. 选择相邻节点 对选中的每一个节点进行宽度优先搜索，以选取k个相邻节点。首先选取1跳的相邻节点，然后再考虑更远的节点，直到选取的相邻节点数达到k为止。
  3. 图归一化 为感受野中的节点排序，以便从无序的图空间映射到矢量空间。为不同的图中的两个具有相似结构地位的节点分配相似的相对位置。
  4. 应用卷积架构 在归一化后，使用CNN进行卷积。

DGCN

• 模型使用两个卷积网络来捕获图的局部一致性和全局一致性，并采用无监督损失函数来聚合两部分。
  • 第一部分对局部一致性建模（相邻的节点可能有相似的标签）：$Z={\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}X\Theta$
  • 第二部分对全局一致性建模（具有相似上下文的节点可能具有相似的标签）：使用positive pointwise mutual information matrix(PPMI)正向点互信息矩阵替换邻接矩阵。$H^{{}^{\prime }}=\sigma (D_p^{-\frac{1}{2}}{X}_p{D}_p^{-\frac{1}{2}}H\Theta )$。$X_p$表示PPMI矩阵，$D_p$是$X_p$的对角度矩阵，$\sigma$是非线性激活函数。
• 损失函数聚合两个卷积结果：$L=L_0(Con{v}_A)+\lambda (t)L_{reg}(Con{v}_A,Con{v}_P)$。其中，$Con{v}_A$表局部一致性卷积，$Con{v}_P$表全局一致性卷积。$\lambda (t)$是调节两部分损失的动态权重。
• $L_0(Con{v}_A)$是结合节点标签的监督损失函数。假设有$c$类标签，那么$Z^A$是局部一致性卷积的输出矩阵，${\hat{Z}}^A$是该输出矩阵经过softmax运算后的结果。$y_L$和$Y$分别是训练数据下标和样本标签。
  • $L_0(Con{v}_A)=-\frac{1}{|y_L|}{\sum }_{l\in y_L}{\sum }_{i=1}^c{Y}_{l,i}ln({\hat{Z}}_{l,i}^A))$
• $L_{reg}(Con{v}_A,Con{v}_P)$是衡量${\hat{Z}}^P,{\hat{Z}}^A$之间差异的无监督损失函数。${\hat{Z}}^P$是局部一致性卷积输出经过softmax的运算结果。
  • $L_{reg}(Con{v}_A,Con{v}_P)=\frac{1}{n}{\sum }_{i=1}^n\Vert {\hat{Z}}_{i,:}^P-{\hat{Z}}_{i,:}^A\Vert$

LGCN

• 网络基于可学习得图卷积网络层（learnable graph convolutinal layer, LGCL）和子图训练策略。LGCL使用CNN作为聚合器，他对节点的邻域矩阵进行最大池化获取前k个特征元素，然后应用一维CNN计算隐表示。计算过程如下：

  • ${\hat{H}}_t=g(H_t,A,k)$
  • $H_{t+1}=c({\hat{H}}_t)$
  • $A$为邻接矩阵，$g(\cdot )$是对前k个节点的选取操作，$c(\cdot )$是常规的一维CNN。

• 模型使用对前k个节点的选取操作来收集每个节点的信息。对给定的节点，首先收集其相邻节点的特征。然后，选择每一维最大的k个节点值，也就是将没一列中的值排序并选择前k个值。之后将自身的节点嵌入表示插入到第一行得到矩阵，并用一维CNN来聚合特征。

GraphSAGE

• 一个通用的归纳推理框架，通过采样和聚合相邻节点的特征来生成节点的嵌入表示。传播过程为：
  • $h_{N_v}^t=AGGREGAT{E}_t(\left\{h_u^{t-1},\forall u\in N_v\right\})$
  • $h_v^t=\sigma (W^t\cdot [h_v^{t-1}||h_{N_v}^t])$
• 不使用所有的相邻节点，而是均匀采样固定数量的相邻节点。Hamilton等人提出了以下三种聚合函数的具体实现：
  • 均值聚合器：$h_v^t=\sigma (W\cdot MEAN(\left\{h_v^{t-1}\right\}\cup \left\{h_v^{t-1}\right\}))$
  • LSTM聚合器：基于LSTM实现，具有更强的表达能力，但由于LSTM的输入是有序的，因此不同的排列会产生不同的结果。
  • 池化聚合器：将相邻节点的隐状态输入一个全连接层并进行最大池化，$h_{N_v}^t=max(\left\{\sigma (W_{pool}{h}_u^{t-1}+b),\forall u\in N_v\right\})$

注：笔记参考自书籍《图神经网络导论》，刘志远，周界，李泺秋。如有侵权，联系即删。