【Graph Neural Network 图神经网络】2.Spectral-based Graph Convolutional Networks 基于谱域的图卷积网络

一、图卷积网络（GCN）

卷积图神经网络（GCN，图卷积网络）与递归图神经网络关系密切。与使用收缩约束迭代节点状态不同，ConvGNNs在架构上使用具有固定数量的不同卷积层来处理循环相互依赖，下图说明了这一关键区别。由于图卷积与其他神经网络的融合更加高效方便，近年来它的普及率迅速提高。

GCN可分为两类，基于谱域Spectral的和空间Spatial的。基于谱域的方法从图信号处理的角度引入滤波器来定义图卷积，其中图卷积运算被解释为从图信号中去除噪声。而基于空间的方法继承了RecGNNs的思想，通过信息传播来定义图卷积。
本文主要介绍基于谱域的图卷积网络。

---

二、谱域理论基础

这一节内容主要参考https://www.zhihu.com/question/54504471/answer/332657604，在此简略阐述一遍。
一句话总结基于谱域的图卷积：对节点特征$f$进行傅里叶变换后，生成以拉普拉斯矩阵的特征向量为基的谱图，然后依据卷积定理求得卷积核$g$对$f$卷积后提取的特征。

0. 基本概念

图用$G=(V,E)$表示，$V$中元素为节点（vertex），$E$中元素为边（edge）。按照边是否有指向性分为有向图和无向图，按照边是否有权值分为有权图和无权图。
度矩阵$D$表示对角阵，对角上的元素为各个节点的度。顶点$v_i$的度表示和该顶点相关联的边的数量。
邻接矩阵$A$表示节点间的连接关系，是n阶方阵（n为节点数量）。无向图邻接矩阵是对称矩阵，而有向图的邻接矩阵不一定对称。无权图的邻接矩阵由0和1组成，有权图会依据权值变化。

1. 拉普拉斯矩阵（Laplacian）

常用的拉普拉斯矩阵有三种，这里用到了前两种，分别是标准和归一化后的形态：

1. Combinatorial Laplacian: $L=D-A$
2. Symmetric normalized Laplacian: $L_{sys}=D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}$
   
   为什么要用拉普拉斯矩阵？因为它是半正定对称矩阵，可以进行特征分解，且一定有$n$个线性无关相互正交的特征向量，构成的矩阵$U$为正交矩阵，满足$U{U}^T=E$，所以有：
   $$L=U\left(\begin{array}{ccc}{\lambda }_1& & \\ & \ddots & \\ & & {\lambda }_n\end{array}\right)U^{-1}=U\left(\begin{array}{ccc}{\lambda }_1& & \\ & \ddots & \\ & & {\lambda }_n\end{array}\right)U^T$$

2. 傅里叶变换（Fourier Transform）

传统的傅里叶变换定义为：
$$F(w)=ϝ[f(t)]=\int f(t)e^{-iwt}dt$$其中$e^{-iwt}$是信号$f(t)$的基函数，也是拉普拉斯算子的特征函数。

如何把传统的傅里叶变换以及卷积迁移到图上？核心工作就是把$e^{-iwt}$类推为图对应的拉普拉斯矩阵的特征向量。
传统傅里叶变换是连续形式的，在处理图时用到的是傅里叶变换的离散形式。由于拉普拉斯矩阵进行特征分解以后，可以得到$n$个线性无关的特征向量，构成空间中的一组正交基，因此归一化拉普拉斯矩阵算子的特征向量构成了图傅里叶变换的基。图傅里叶变换将输入图的信号投影到了正交空间，相当于把图上定义的任意向量，表示成了拉普拉斯矩阵特征向量的线性组合。
由此定义图上的傅里叶变换：
$$F({\lambda }_l)=\hat{f}({\lambda }_l)=\sum _{i=1}^{N}f(i)u_l(i)$$其中，是$f$是图上的$N$维向量，$f(i)$表示图中某个节点的特征，$u_l(i)$表示第$l$个特征向量的第$i$个分量，那么特征值（频率）${\lambda }_l$下的，$f$的图傅里叶变换就是与${\lambda }_l$对应的特征向量$u_l$进行内积运算。
利用矩阵乘法将Graph上的傅里叶变换推广到矩阵形式：$$\hat{f}=U^{T}f$$
同理，传统的傅里叶逆变换是对频率$w$求积分：$${ϝ}^{-1}[F(w)]=-\frac{1}{2\Pi }\int F(w)e^{-iwt}dw$$迁移到Graph上变为对特征值${\lambda }_l$求和：
$$f(i)=\sum _{l=1}^N\hat{f}({\lambda }_l)u_l(i)$$利用矩阵乘法将图上的傅里叶逆变换推广到矩阵形式：
$$f=U\hat{f}$$

3. 卷积

卷积定理：函数卷积的傅里叶变换是函数傅立叶变换的乘积，即对于函数 $f(t)$与$g(t)$两者的卷积是其函数傅立叶变换乘积的逆变换：
$$f\ast g={ϝ}^{-1}(ϝ(f)\cdot ϝ(g))$$结合前文关于图傅里叶变换和逆变换的定义有：
$$f\ast g=U((U^{T}f)\cdot (U^{T}g))$$如果把$U^{T}g$整体看作可学习的卷积核$g_{\theta }$，其傅里叶变换可以写成对角矩阵的形式：
$$g_{\theta }=U^{T}g=\left(\begin{array}{ccc}\hat{g}({\lambda }_1)& & \\ & \ddots & \\ & & \hat{g}({\lambda }_n)\end{array}\right)$$整理可得最终的卷积公式为：
$$f\ast g=U\left(\begin{array}{ccc}\hat{g}({\lambda }_1)& & \\ & \ddots & \\ & & \hat{g}({\lambda }_n)\end{array}\right)U^{T}f$$

---

三、Spectral CNN (Spectral Networks and Locally Connected Networks on Graphs， ICLR 2014)

深度学习中的卷积就是要设计含有可训练共享参数的卷积核，而从上式中看卷积核参数就是$diag(\hat{g}({\lambda }_l))$。在第一代GCN的工作中，直接将卷积核$g_{\theta }$设置为$diag({\theta }_l)$，即卷积函数为：
$$y=\sigma (U\left(\begin{array}{ccc}{\theta }_1& & \\ & \ddots & \\ & & {\theta }_n\end{array}\right)U^{T}x)$$其中，$\sigma (\cdot )$是激活函数，$\Theta =({\theta }_1,...,{\theta }_n)$是通过初始化赋值然后利用误差反向传播进行调整的参数，$x$是图上对应于每个节点的特征。
如此设计有以下缺点：

1. 计算复杂：每一次前向传播，都要计算$U$、$diag({\theta }_l)$、$U^T$三者的乘积，特别是对于大规模的图，计算的代价较高，计算复杂度为$O(n^2)$。
2. 是非局部性连接（spatial localization）的。
3. 卷积核需要$n$个参数，当图中的节点很多时是不可取的。

---

四、ChebNet (Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering, NIPS2016)

为了解决上述缺陷，第二代GCN——ChebNet应运而生。ChebNet采用Chebyshev多项式来近似卷积核，目的是省去特征向量的求解：
$$g_{\theta }=g_{\theta }(\Lambda )\approx \sum _{k=0}^{K-1}{\theta }_k{T}_k(\tilde{\Lambda })$$
其中，$T_k$是$k$阶的Chebyshev多项式，${\theta }_k$是对应的系数（也就是训练中迭代更新的参数）。$\tilde{\Lambda }=\frac{2}{{\lambda }_{max}}\Lambda -I_N$是re-scaled的特征值对角矩阵，进行这个shift变换的原因是Chebyshev多项式的输入要在$[-1,1]$之间。
将上式带入到图卷积公式中：
$$y=\sigma (U{g}_{\theta }(\Lambda )U^{T}x)=\sigma (U\sum _{k=0}^{K-1}{\theta }_k{T}_k(\tilde{\Lambda })U^{T}x)=\sigma (\sum _{k=0}^{K-1}{\theta }_k{T}_k(U\tilde{\Lambda }{U}^T)x)$$又因为$L=U\Lambda U^T$，代入得：
$$y=\sigma (\sum _{k=0}^{K-1}{\theta }_k{T}_k(\tilde{L})x)$$其中$\tilde{L}=\frac{2}{{\lambda }_{max}}L-I$，这样设计的优点在于：

1. 卷积核只有$K$个参数，一般$K$远小于$n$，参数的复杂度被大大降低了。
2. 矩阵变换后，神奇地发现不需要做特征分解了，直接用拉普拉斯矩阵$L$进行变换。
3. 卷积核具有很好的spatial localization，特别地，$K$就是卷积核的receptive field，也就是说每次卷积会将中心节点的$K$阶邻域上的特征进行加权求和。

---

五、GCN (Semi-Supervised Classification with Graph Convolutional Networks, ICLR 2017)

该文在ChebNet的基础上进一步改进和简化，是基于谱域的图卷积网络的集大成之作。为图神经网络模型引入一个简单且表现好的分层传播规则，该规则直接在图上运行，展示了它是如何从谱图卷积的一阶近似中获得增益的，并演示了如何将这种形式的基于图的神经网络模型用于图中节点的快速和可扩展的半监督分类。

1. 理论-谱图卷积（spectral graph convolutions）

（该节内容与上文三、四章有重复，这里主要还是转述一遍原文。）
谱图卷积可以定义为信号$x$与滤波器$g_{\theta }=diag(\theta )$在傅里叶域中的乘积：
$$g_{\theta }\star x=U{g}_{\theta }{U}^{T}x$$其中， $U$是归一化拉普拉斯$L=I_N-D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}=U\Lambda U^T$的特征向量矩阵（即谱矩阵），$\Lambda$为特征值矩阵（对角矩阵），$U^{T}x$为$x$的图傅里叶变换。在这里，可以将$g_{\theta }$看作是$L$的特征值函数，也就是$g_{\theta }(\Lambda )$。
以上公式的计算代价是昂贵的，使用$U$进行矩阵乘法的时间复杂度为$O(N^2)$，此外首先计算特征分解对于大图来说需要很多计算量。为了解决这个问题，采用了已有方法（Hammond等. 2011）将$g_{\theta }(\Lambda )$近似为Chebyshev多项式的$K$阶截断展开：
$$g_{{\theta }^{\prime }}(\Lambda )\approx \sum _{k=0}^K{\theta }_k^{\prime }{T}_k(\tilde{\Lambda })$$其中，$\tilde{\Lambda }=\frac{2}{{\lambda }_{max}}\Lambda -I_N$，${\lambda }_{max}$表示$L$最大特征值，${\theta }^{\prime }$现在是Chebyshev系数的向量。Chebyshev多项式的递归定义为$T_k(x)=2x{T}_{k-1}(x)-T_{k-2}(x)$，其中$T_0(x)=1$、$T_1(x)=x$。
回到我们对于信号$x$和滤波器$g_{{\theta }^{\prime }}$的卷积定义，且已知$(U\tilde{\Lambda }{U}^T{)}^k=U{\tilde{\Lambda }}^k{U}^T={\tilde{L}}^k$，现在有：$$g_{{\theta }^{\prime }}\star x=U{g}_{{\theta }^{\prime }}{U}^{T}x\approx U\cdot \sum _{k=0}^K{\theta }_k^{\prime }{T}_k(\tilde{\Lambda })\cdot U^{T}x=\sum _{k=0}^K{\theta }_k^{\prime }{T}_{k}U(\tilde{\Lambda })U^{T}x=\sum _{k=0}^K{\theta }_k^{\prime }{T}_k(\tilde{L})x$$其中$\tilde{L}=\frac{2}{{\lambda }_{max}}L-I_N$。这个表达式是拉普拉斯中的$K$阶多项式，也就是说，它只依赖于离中心节点最大$k$步的节点($k$阶邻域)。上式的复杂度是$O(|\epsilon |)$，即边的数量是线性的。Defferrard等（2016）使用此$K$局部卷积在图上定义了卷积神经网络。

2. 理论-层级线性模型（layer-wise linear model）

近似的谱图卷积虽然可以建立起$K$阶邻居的依赖，然而，却仍然需要在$\tilde{L}$上进行$K$阶运算。为了降低运算成本，本文进一步简化了该运算，即将分层卷积运算限制为$K=1$，此时图谱卷积可以近似为$L$的线性函数。
当然，这样做的代价是只能建立起一阶邻居的依赖。对于这一问题，可以通过堆积多层图卷积网络建立$k$阶邻居的依赖，优势是不需要受到Chebyshev多项式的限制。这样的模型可以缓解节点度分布非常宽的图（例如社交网络、引文网络、知识图和许多其他现实世界图数据集）的局部邻域结构过拟合的问题。 此外，对于固定的计算预算，这种分层的线性公式使我们可以构建更深的模型，这种实践被认为可以提高许多领域的建模能力。
在GCN的这种线性公式中，我们可以进一步近似${\lambda }_{max}\approx 2$，因为我们可以预期神经网络参数将在训练过程中适应这种规模变化。所以上式简化为：
$$g_{{\theta }^{\prime }}\star x\approx {\theta }_0^{\prime }x+{\theta }_1^{\prime }(L-I_N)x={\theta }_0^{\prime }x-{\theta }_1^{\prime }{D}^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}x$$仅有两个参数${\theta }_0^{\prime }$和${\theta }_1^{\prime }$，可以被共享至全图。若需建立$k$阶邻居上的依赖，可以通过设置$k$层这样的滤波器来实现。
在实际的过程中，可以通过对参数进行进一步约束来避免过拟合，并简化运算复杂度。如令$\theta ={\theta }_0^{\prime }={\theta }_1^{\prime }$，则有：
$$g_{{\theta }^{\prime }}\star x\approx \theta (I_N+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}})x$$需要注意的是，$I_N+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}$的特征值范围为$[0,2]$，这意味着，当不停地重复该操作时（网络非常深时），可能会引起梯度爆炸或梯度消失。为了减弱这一问题，本文提出了一种重归一化技巧（renormalization trick）：$I_N+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}\to {\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}$，其中$\tilde{A}=A+I_N$且${\tilde{D}}_{ii}={\sum }_j{\tilde{A}}_{ij}$。
当图中每个节点的表示不是单独的标量而是一个大小为$C$的向量时，有以下变体：
$$Z={\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}X\Theta$$其中，$\Theta$表示参数矩阵，$Z\in {\mathbb{R}}^{N\ast F}$为相应的卷积结果。此时，每个节点的表示$X$被更新成了一个新的向量$Z$，该向量包含了相应的一阶邻居上的信息。

3. 图卷积网络（GCN）

经过了以上两节的理论推导，即谱图卷积的一阶近似，图卷积网络最终的分层传播规则表达式如下：
$$H^{(l+1)}=\sigma ({\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}{H}^{(l)}{W}^{(l)})$$对于无向图$G$：
$\tilde{A}=A+I_N$是带有自连接的邻接矩阵，$I_N$是单位矩阵；
$\tilde{D}$是度矩阵，${\tilde{D}}_{ii}={\sum }_j{\tilde{A}}_{ij}$；
$H^{(l)}\in {\mathbb{R}}^{N\ast D}$是第$l$层的激活矩阵（输入），其中$N$为图中的节点数量，每个节点使用$D$维的特征向量进行表示，初始输入为$H^{(0)}=X$；
$W^{(l)}$是待训练的参数矩阵；
$\sigma$表示激活函数，比如$ReLU(\cdot )=max(0,\cdot )$。

说明如下：

1. 以上公式可以直观解释为：GCN的每一层通过邻接矩阵$A$和特征矩阵$H^{(l)}$相乘得到每个节点邻居特征的汇总，然后乘上一个参数矩阵$W^{(l)}$，再通过激活函数$\sigma$做一次非线性变换，得到聚合邻居节点特征的矩阵$H^{(l+1)}$。
2. 之所以邻接矩阵$A$要加上一个单位矩阵$I_N$，是因为希望在进行信息传播的时候节点自身的特征信息也得到保留。
3. 而对带有自连接的邻接矩阵$\tilde{A}$进行归一化操作${\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}$是为了在信息传递的过程中保持特征矩阵$H$的原有分布，防止一些度数高的节点和度数低的节点在特征分布上产生较大的差异。

4. 半监督节点分类（semi-supervised node classification）

GCN通过一个简单的映射函数$f(X,A)$，可以将节点的局部信息汇聚到该节点中。本文使用了一个两层的GCN进行节点分类，模型结构图如下图所示：
其具体流程为：
首先获取节点的特征表示$X$并计算归一化邻接矩阵${\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}$。
将其输入到一个两层的GCN网络中，得到每个标签的预测结果：
$$Z=f(X,A)=softmax(\tilde{A}ReLU(\tilde{A}X{W}^{(0)})W^{(1)})$$其中，$W^{(0)}$为第一层的权值矩阵，用于将节点的特征表示映射为相应的隐层状态。$W^{(1)}$为第二层的权值矩阵，用于将节点的隐层表示映射为相应的输出。最后将每个节点的表示通过一个$softmax$函数，即可得到每个标签的预测结果。
对于半监督分类问题，使用所有有标签节点上的期望交叉熵作为损失函数：
$$L=-\sum _{l\in {\gamma }_L}\sum _{f=1}^F{Y}_{lf}\ln Z_{lf}$$其中，${\gamma }_L$表示有标签的节点集。

5. 实验

针对半监督节点分类问题，本文主要进行了两个实验：一是在文献引用网络上的实验，二是在知识图谱上的实验（NELL）。在文献引用网络中，边使用引用链构建，节点表示相应的文档。本文共使用了三个引用网络数据集：Citeseer、Cora与Pubmed。实验结果如下所示，可见基于GCN的半监督节点分类模型有较大提升。

6. 总结

本文提出了一种图卷积网络GCN，该网络可以被有效地用于处理图结构的数据。图卷积网络具有几个特点：

1. 局部特性：图卷积网络关注的是图中以某节点为中心，$k$阶邻居之内的信息，这一点与GNN有本质的区别；
2. 一阶特性：经过多种近似之后，GCN变成了一个一阶模型。也就是说，单层的GCN可以被用于处理图中一阶邻居上的信息；若要处理$k$阶邻居，可以采用多层GCN来实现；
3. 参数共享：对于每个节点，其上的滤波器参数$W$是共享的，这也是其被称作图卷积网络的原因之一。

总的来说，图卷积网络是神经网络技术在图结构数据上的一个重要应用。这一研究可以被广泛应用在graph embedding、node embedding等图相关的任务上，它也为处理大型图结构数据提供了一种有效的手段。