[论文笔记]Graph Convolutional Network(GCN) 图卷积网络原理

GCN Note

参考：

PAPER：SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS. ICLR 2017

图卷积神经网络（GCN）的数学原理详解——谱图理论和傅立叶变换初探_哔哩哔哩_bilibili

直观理解：GCN详解 - mathor (wmathor.com)

• 我们的每一层GCN的输入都是邻接矩阵A和node的特征H，那么我们直接做一个内积，再乘一个参数矩阵W，然后激活一下，就相当于一个简单的神经网络层嘛，是不是也可以呢？

$$H^{(l+1)}=\sigma (A{H}^{(l)}\theta )$$

• 实验证明，即使就这么简单的神经网络层，就已经很强大了。这个简单模型应该大家都能理解吧，这就是正常的神经网络操作。

  但是这个简单模型有几个局限性：

  1. 只使用A的话，由于A的对角线上都是0，所以在和特征矩阵H相乘的时候，只会计算一个node的所有邻居的特征的加权和，该node自己的特征却被忽略了。因此，我们可以做一个小小的改动，给A加上一个单位矩阵 I ，这样就让对角线元素变成1了。

  2. A是没有经过归一化的矩阵，这样与特征矩阵相乘会改变特征原本的分布，产生一些不可预测的问题。所以我们对A做一个标准化处理。首先让A的每一行加起来为1，我们可以乘以一个D的逆，D就是度矩阵。我们可以进一步把D的拆开与A相乘，得到一个对称且归一化的矩阵 ：。

• 通过对上面两个局限的改进，我们便得到了最终的层特征传播公式

$$H^{(l+1)}=\sigma ({\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}{H}^{(l)}\theta )$$

Basic of GCN

• 图image是图graph的一种特例

• GNN
  $$H^{(l+1)}=f(A,H^{(l)})$$
  不同的GNN模型都是在探究不同$f$的形式

• GCN（只考虑无向简单图）
  $$H^{(l+1)}=\sigma ({\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}{H}^{(l)}\theta )$$
  $A$：adjacency matrix ：邻接矩阵

  $\tilde{A}=A+I$ $I$是单位矩阵

  $D$: degree matrix ：度矩阵

  $\tilde{D}=D+I$

  $\theta$: 可训练的参数，对输入的feature进行线性变换

  $\sigma$: 激活函数sigma()

对于只有对角线上有非零元素的矩阵来说，求幂就是对对角线上的元素求对应次幂。例如：

$\left(\begin{array}{ccc}4& 0& 0\\ 0& 2& 0\\ 0& 0& 2\end{array}\right)$ 求$-\frac{1}{2}$次方幂： $\left(\begin{array}{ccc}{4}^{-\frac{1}{2}}& 0& 0\\ 0& 2^{-\frac{1}{2}}& 0\\ 0& 0& 2^{-\frac{1}{2}}\end{array}\right)$

• GCN实际就是先对图的$A$邻接矩阵加了一个自环，再进行对称归一化（左右分别乘以$\tilde{D}$的$-\frac{1}{2}$次方），然后将得到的矩阵对输入的特征矩阵进行聚合得到自己和邻居的加权平均的feature信息。

Spectral Graph Theory

附加：linear algebra recap.

$A$：adjacency matrix ：邻接矩阵

• 邻接矩阵表示顶点间关系，是n阶方阵（n为顶点数量）。
• 邻接矩阵分为有向图邻接矩阵和无向图邻接矩阵。
• 无向图邻接矩阵是对称矩阵，而有向图的邻接矩阵不一定对称。

$D$: degree matrix ：度矩阵

• 度矩阵是对角阵，对角上的元素为各个顶点的度。
• 顶点$v_i$的度表示和该顶点相关联的边的数量。
• 无向图中顶点$v_i$的度$d(v_i)=N(i)$。（$N(i)$表示顶点$v_i$的邻居）

eigenvalue (特征值) eigenvector(特征向量)

• $Ax=\lambda x，|x|\ne 0$ 则说$\lambda$是矩阵$A$的特征值，$x$是其特征向量

• 如果一个矩阵$A_{n\times n}$是实对称矩阵（real symmefric matrix），那它一定有n个特征值，并且这n个特征值对应着n个互相正交的特征向量。

  $A=U\Lambda U^T$ $U{U}^T=I$ $\Lambda =\left(\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right)$

半正定矩阵（positive semi-definite matrix）

• 所有特征值都大于等于0的矩阵

二次型（quadratic form）

• $x^{T}Ax$ 称为 $x$对于矩阵$A$的二次型

瑞利商Rayleigh quotient

• $x$关于矩阵$A$的二次型与$x$关于单位矩阵的二次型的比值，即$\frac{x^{T}Ax}{x^{T}x}$

• 假如$x$是$A$的一个特征向量，那么可以证明对应瑞利商是$A$相应的特征值

证明如下：
$$\frac{x^{T}Ax}{x^{T}x}=\frac{x^T(\lambda x)}{x^{T}x}=\frac{\lambda (x^{T}x)}{x^{T}x}=\lambda$$

spectral graph theory

• 谱图理论是研究和图邻接矩阵$A$相关的一些性质。

研究和GCN主要相关的矩阵

• 拉普拉斯矩阵 $L=D-A$

• 拉普拉斯矩阵的对称规范化 $L_{sym}=D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}$

• $L$和$L_{sym}$都是实对称矩阵（positive semi-definite），都具有n个特征值和n个特征向量，都可以分解为$U\Lambda U^T$的形式。

• $L$和$L_{sym}$都是半正定矩阵，所以他们的特征值都是大于等于0的。

  证明$L$和$L_{sym}$都是半正定的：

  • 证明思路：证明矩阵瑞利商$\frac{x^{T}Ax}{x^{T}x}$都是大于等于0的。

  • 对于$L$ :

    1. 分母$x^{T}x$是$x$的模长，所以衡大于等于0

    2. 构造辅助矩阵$G_{(i,j)}$（除了$g_{(i,i)}$和$g_{(j,j)}$是1，$g_{(i,j)}$和$g_{(j,i)}$是-1，其他位置都是0）

       $G_{(i,j)}=\left(\begin{array}{ccccc}\ddots & & & & \\ & 1& & -1& \\ & & \ddots & & \\ & -1& & 1& \\ & & & & \ddots \end{array}\right)$

       则$L={\sum }_{(i,j)\in E}{G}_{(i,j)}$ （即所有边的G矩阵之和为拉普拉斯矩阵）

       而($G$的二次型)$x^T{G}_{(i,j)}x=x^T\left(\begin{array}{c}⋮\\ x_i-x_j\\ ⋮\\ x_j-x_i\\ ⋮\end{array}\right)=x_i(x_i-x_j)+x_j(x_j-x_i)=(x_i-x_j{)}^2$

       则$L$的二次型（即分子）: $x^{T}Lx=x^T(\sum G_{(i,j)})x={\sum }_{(i,j)\in E}(x_i-x_j{)}^2\ge 0$

  • 对于$L_{sym}$ ：

    1. 分母同上

    2. 分子：

       $x^T{L}_{sym}x=(x^T{D}^{-\frac{1}{2}})L(D^{-\frac{1}{2}}x)=\sum (\frac{x_i}{\sqrt{d_i}}-\frac{x_j}{\sqrt{d_j}}{)}^2\ge 0$

• $L_{sym}$ 的特征值大于等于0并且小于等于2

证明如下：

1. 辅助矩阵G：$G_{(i,j)}^{pos}=\left(\begin{array}{ccccc}\ddots & & & & \\ & 1& & 1& \\ & & \ddots & & \\ & 1& & 1& \\ & & & & \ddots \end{array}\right)$

   $G^{pos}$的二次型：$x^T{G}_{(i,j)}^{pos}x=x^T\left(\begin{array}{c}⋮\\ x_i+x_j\\ ⋮\\ x_j+x_i\\ ⋮\end{array}\right)=x_i(x_i+x_j)+x_j(x_j+x_i)=(x_i+x_j{)}^2$

   定义 $L^{pos}=D+A={\sum }_{(i,j)\in E}{G}_{(i,j)}^{pos}$

   则$L^{pos}$的二次型：

   $x^{T}Lx=x^T(\sum G_{(i,j)})x={\sum }_{(i,j)\in E}(x_i+x_j{)}^2\ge 0$

   同理$L_{sym}^{pos}=D^{-\frac{1}{2}}{L}^{pos}{D}^{-\frac{1}{2}}$的二次型：

   $x^T{L}_{sym}x=\sum (\frac{x_i}{\sqrt{d_i}}+\frac{x_j}{\sqrt{d_j}}{)}^2\ge 0$

2. 然后对$L_{sym}^{pos}$展开：

   $L_{sym}^{pos}=D^{-\frac{1}{2}}{L}^{pos}{D}^{-\frac{1}{2}}=I+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}$

   代入到$x^T{L}_{sym}x$中：
   $$\begin{gathered} x^T{L}_{sym}x\ge 0\Rightarrow \\ {x}^T(I+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}})x\ge 0\Rightarrow \\ {x}^{T}x+x^T{D}^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}x\ge 0\Rightarrow \\ {x}^{T}x\ge -x^T{D}^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}x\Rightarrow \\ 2x^{T}x\ge x^{T}x-x^T{D}^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}x\Rightarrow \\ 2x^{T}x\ge x^T(I-D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}})x\Rightarrow \\ 2x^{T}x\ge x^T{D}^{-\frac{1}{2}}(D-A)D^{-\frac{1}{2}}x\Rightarrow \\ 2x^{T}x\ge x^T{L}_{sym}x\Rightarrow \\ 2\ge \frac{x^T{L}_{sym}x}{x^{T}x} \end{gathered}$$

Fourier Transform（傅里叶变换）

• 傅里叶变换：研究同一个事物在不同的域不同的视角是怎么样的，以及在不同的域之间进行变换

• 由傅里叶变换可以知道，任何周期函数，都可以看作是不同振幅，不同相位正弦波的叠加。

• 由傅里叶变换，可以将函数从时域转换为频域；同时由傅里叶逆变换可以将频域再转换为时域。转换是无损的。

• 为什么进行傅里叶变换？

  • 时域内不好处理的函数，转换为频域中的函数，可能就变得比较好操作。

• 注：傅里叶变换是一种思想，基底不一定必须是正弦波函数，也可以是其他函数。

  例如：FFT算法

  • 已知$$\begin{gathered} f(x)=a_0+a_{1}x+...+a_n{x}^n, \\ g(x)=b_0+b_{1}x+...+b_n{x}^n \end{gathered}$$ 求解：$f(x)g(x)$

  • 即确定$f(x)g(x)=c_0+c_{1}x+...c_{2n}{x}^{2n}$中$c_0,c_1,...c_{2n}$的值。

  • 采用傅里叶变换思想：（转换为点域）

    n次多项式，可以由n+1个不同的点唯一的确定

    由傅里叶快速变换通过复杂度O(nlogn)可确定：

    $$\begin{gathered} f(x)\iff (x_1,f(x_1)),(x_2,f(x_2)),...(x_{n+1},f(x_{n+1})) \\ g(x)\iff (x_1,g(x_1)),(x_2,g(x_2)),...(x_{n+1},g(x_{n+1})) \end{gathered}$$

    由复杂度O(n)可确定：

    $f(x)g(x)\iff (x_1,f(x_1)g(x_1)),(x_2,f(x_2)g(x_2)),...(x_{n+1},f(x_{n+1})g(x_{n+1}))$

Graph上的傅里叶变换

• 图像Image具有比较规则的拓扑结构，所以可以给定确定的kernel进行卷积。而图Graph的拓扑结构比较复杂，没办法给定确定的kernel进行卷积。

• $Lx$

  $L$：拉普拉斯矩阵

  $x$：某个点的feature向量
  $$Lx=\left(\begin{array}{c}{\sum }_{(1,j)\in E}(x_1-x_j)\\ {\sum }_{(2,j)\in E}(x_2-x_j)\\ ⋮\\ {\sum }_{(n,j)\in E}(x_n-x_j)\end{array}\right)$$

  $Lx$相当于对该点与其附近的点做了类似卷积的操作

  • 根据$L$是一个实对称且半正定的矩阵
    $$Lx=U\Lambda U^{T}x$$
    这样在新的域内，卷积操作类似于：对$x$乘以$U^T$进行变换，然后再乘以$\Lambda$进行不同维度的放缩，最后再进行逆变换$U$，这将使得卷积操作变得简单很多。

• 对于Graph的拉普拉斯矩阵$L$进行特征分解的复杂度过高$O(n^2)$，所以GCN对图Graph进行限制，不需要再进行求解特征矩阵来实现图卷积，以此减少复杂度

GCN

• 假设已经有函数$F(A)\to L$或者$F(A)\to L_{sym}$或者$F(A)\to 实对称矩阵$

  • 那么$F(A)=U\Lambda U^T$

  • 则图上的卷积操作可以定义为$g_{\theta }\star x=\theta Lx=\theta U\Lambda U^{T}x=U{g}_{\theta }(\Lambda )U^{T}x$

    即对于$x$先乘以$U^T$转换为频域上操作，再进行不同维度的缩放（缩放函数$g_{\theta }(\Lambda )$即为训练的目标函数），最后再乘以$U$转换回原来的域，即完成了对周围点的卷积。

  • 为了不再求特征分解，我们对$g_{\theta }(\Lambda )$进行限制：

    限制$g_{\theta }(\Lambda )$可以用多项式进行表示，即：

    $g_{\theta }(\Lambda )={\theta }_0{\Lambda }^0+{\theta }_1{\Lambda }^1+...+{\theta }_n{\Lambda }^n+...$

    那么$U{g}_{\theta }(\Lambda )U^T=g_{\theta }(U\Lambda U^T)=g_{\theta }(F(A))$

    等式成立原因：$(U\Lambda U^T{)}^k=U\Lambda U^{T}U\Lambda U^T...U\Lambda U^T=U{\Lambda }^k{U}^T$

    实际操作时，并不会采用线性函数来拟合$g_{\theta }(\Lambda )={\theta }_0{\Lambda }^0+{\theta }_1{\Lambda }^1+...+{\theta }_n{\Lambda }^n+...$，因为可能会产生梯度消失或梯度爆炸的情况，所以往往采用切比雪夫多项式
    $$\begin{gathered} T_n(x)=2x{T}_{n-1}-T_{n-2}(x) \\ {T}_0(x)=1,T_1(x)=x \end{gathered}$$

    • 切比雪夫多项式不会发生梯度消失或梯度爆炸的情况，因为它满足性质：

      $T_n(\cos \theta )=\cos n\theta$

      即自变量取值[-1,1]时，无论n多大，函数都有一个规律的波动。

• 所以我们只需要保证输入的x的取值在[-1,1]之间即可，前文已经证明过$L_{sym}$的特征值的取值范围为[0,2]，所以只要将其转换到[-1,1]之间即可。

  $F(A)=L_{sym}-I$

• 则图上的卷积操作可以定义为
  $$\begin{gathered} g_{\theta }\star x=U{g}_{\theta }(\Lambda )U^{T}x=U(\sum _{k=0}^k{\theta }_k{T}_k(\Lambda ))U^{T}x \\ =\sum _{k=0}^k{\theta }_k{T}_k(U\Lambda U^T)x=\sum _{k=0}^k{\theta }_k{T}_k(L_{sym}-I)x \end{gathered}$$

  • 为了进一步缩小计算量，GCN只考虑k<2的情况

  $$\begin{gathered} g_{\theta }\star x=\sum _{k=0}^k{\theta }_k{T}_k(L_{sym}-I)x\approx ({\theta }_0{T}_0(L_{sym}-I)+{\theta }_1{T}_1(L_{sym}-I))x \\ ={\theta }_{0}x+{\theta }_1(L_{sym}-I)x \end{gathered}$$

  又由：
  $$L_{sym}=D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}=D^{-\frac{1}{2}}(D-A)D^{-\frac{1}{2}}=I-D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}$$
  所以：
  $$g_{\theta }\star x={\theta }_{0}x-{\theta }_1{D}^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}x$$

• 然后GCN在推导过程中使用了一些正则化和trick：

  • 正则化：${\theta }_0$和${\theta }_1$共享参数 $\theta ={\theta }_1=-{\theta }_0$

  $$g_{\theta }\star x=\theta (I+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}})x$$

  • 变化：
    $$g_{\theta }\star x=\theta {\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}x$$

过程中使用了一些正则化和trick：

• 正则化：${\theta }_0$和${\theta }_1$共享参数 $\theta ={\theta }_1=-{\theta }_0$

$$g_{\theta }\star x=\theta (I+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}})x$$

• 变化：
  $$g_{\theta }\star x=\theta {\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}x$$