GAT(Graph ATtention network)和GCN(Graph Convoluution Network)理论

代码

如果想直接看代码部分,请移步https://github.com/Alienge/Graph-Network.

背景

      最近各种顶会上都可以看到$GCN$和$GAT$，虽然这两篇论文都差不多在18年左右出来的，但是现有论文的网络结构都或多或少的有$GCN$和$GAT$的影子，那么为什么有这么多人去研究图网络呢？或者换句话说使用图网络能解决什么问题？要回答这个问题很容易，因为图结构更符合我们现实生活中的逻辑关系，那么自然而然的就可以去解决很多问题了。比如，个性化推荐，社交网络，特征工程等。

本文会尽量弱化数学公式的影响。

基础知识

      在介绍图网络之前我们需要了解一部分图论的基础知识。图是由若干个结点(Node)及连接两个结点的边(edge)所构成的图形，用于刻画不同结点之间的关系。如图1表示了一张图。

图1 non-Euclidean space

      那么可以用两个集合量化该图，这两个集合分别是顶点集合和边的集合，分别用$V$和$E$表示。按照图论的定义，可以用一个这个二元组来定义这个图。即
$$G=\{V,E\}$$ 其中$V$是顶点的集合，$E$是边的集合。

拓展一下把这个用到$GCN$或者$GAN$中，对于每一个顶点，都有一个特征，所有顶点的特征聚集在一起可以用一个矩阵来表示，假设顶点有$|V|=N$个，特征的维度为$F_{}$ 图中顶点的特征也叫图的embedding 。那么就可以用一个矩阵$h$来表示，其维度$size=[N,F]$. 而边的关系用矩阵e来表示，其$e_{ij}$表示顶点$v_i$和顶点$v_{ij}$是否有边相连。维度$size=[N,N]$.

$$e_{ij}=\{\begin{array}{ll}0& \text{如果vi与vj有边相连}\\ 1& \text{otherwise}\end{array}$$
另外图还有一个度矩阵$D$，其维度$size=[N,N]$, $D_{ii}$表示顶点$v_i$的度。

例子 ：

     下面就以$图1$作为例来表示特征矩阵$f=h$, 边矩阵$A=e$和度矩阵$D$。由于只是演示作用，不妨设置特征矩阵的维度为$1$维。即$f=h=[4,2,4,-3{]}^T$

图的拓扑结构	度矩阵(D)	边矩阵(A=e)	特征矩阵(f=h)
	$\left[\begin{array}{cccc}2& 0& 0& 0\\ 0& 3& 0& 0\\ 0& 0& 2& 0\\ 0& 0& 0& 1\end{array}\right]$	$\left[\begin{array}{cccc}0& 1& 1& 0\\ 1& 0& 1& 1\\ 1& 0& 1& 0\\ 0& 1& 0& 0\end{array}\right]$	$\left[\begin{array}{c}4\\ 2\\ 4\\ -3\end{array}\right]$

空域卷积和频域卷积

空域卷积(Spatial Convolution)。从设计理念上看，空域卷积与深度学习中的卷积的应用方式类似，其核心在于聚合邻居结点的信息。比如说，一种最简单的无参卷积方式可以是：将所有直连邻居结点的隐藏状态加和，来更新当前结点的隐藏状态。如图1中顶点$v_1$的空域卷积结果为$$f(v_1{)}^{l+1}=\frac{f(v_0{)}^l+f(v_1{)}^l+f(v_2{)}^l+f(v_3{)}^l}{4}\text{\hspace{1em}(1)}$$其中$f$表示是顶点到特征的映射。其中以$GAT$为代表。在下面的说明中, 这种卷积时发生在$vertexdomain$也称$spatialdomain$。

频域卷积(Spectral Convolution)。相比于空域卷积而言，它主要利用的是图傅里叶变换(Graph Fourier Transform)实现卷积。简单来讲，它利用图的拉普拉斯矩阵(Laplacian matrix)导出其频域上的的拉普拉斯算子，再类比频域上的欧式空间中的卷积，导出图卷积的公式。虽然公式的形式与空域卷积非常相似，但频域卷积的推导过程却有些艰深晦涩。其中以$GCN$为代表。在下面的说明中，此类卷积是发生在$spectraldomain$。

空域卷积相比频域卷积非常直观地借鉴了图像里的卷积操作，频域卷积相比空域卷积更加有理论依据。

GAT

     在上一节提到的空域卷积的公式$(1)$中，计算$l+1$层的顶点$v_1$的特征时，$l$层的顶点$v_0,v_1,v_2,v_3$对$l+1$层的$v_1$的权重是一样的，显然这是不合理的。因此$GAT$提出就是解决此问题的一种解决方案。
     $GraphAttentionNetwork(GAT)$提出了用注意力机制对邻近节点特征加权求和。 邻近节点特征的权重完全取决于节点特征，独立于图结构。那么$GAT$解决了那些问题呢。

• $GAT$中,图中每个顶点可以根据邻接的顶点确定特征，不由我们指定，权重设置成参数，最终结果由梯度下降得到，免去了人工指定的麻烦。
• $GAT$的设置，只与相邻节点有关，无需得到整张图的信息。

GAT的理论依据

     现有给定如下已知条件：顶点之间的边矩阵为$A\in R^{N\times N}$, 第$l$层的顶点的特征向量集:$h^l=[h_1,h_2,\cdot \cdot \cdot ,h_N{]}^T$, 其中$h_i\in R^F$, $N$为图中顶点的个数, 显然可以知道$h\in R^{N\times F}$。得到下一层$l+1$的特征向量势必需要一个权重矩阵，假设下一层的特征向量的维度为$F^{\prime }$， 即$h_i^{l+1}\in R^{F^{\prime }}$, 那么需要的权重矩阵$W\in R^{F\times F^{\prime }}$。可以得到的$l+1$层的特征向量集:
$$h^{l+1}=[h_1^{{}^{\prime }},h_2^{{}^{\prime }},\cdot \cdot \cdot ,h_N^{{}^{\prime }}{]}^T$$
显然可以知道$h^{l+1}\in R^{N\times F^{\prime }}$。
     有了这些就可以计算注意力了，针对每个节点可以得到对应的注意力系数, 注意力系数为：

$$e_{ij}=a(W^T{h}_i,W^T{h}_j)\text{\hspace{1em}(2)}$$
注意一下$(W^T{h}_i,W^T{h}_j)$是一个$concat$操作, 可以知道$(W^T{h}_i,W^T{h}_j)\in R^{2F^{\prime }\times 1}$, 而$a\in R^{1\times 2F^{\prime }}$
     那么以这种方式就可以计算出所有的注意力系数，作者通过$MaskAttention$将这个注意力机制引入图结构中，$MaskAttention$的含义是：仅将注意力分配到顶点$i$的邻居节点集$j\in N_i$ 为了使得注意力系数更容易计算和便于比较，我们引入了$softmax$对所有的$i$的相邻节点$j\in N_i$进行正则化:
$$a_{ij}=softmax(e_{ij})=\frac{exp(e_{ij})}{{\sum }_{k\in N_i}exp(e_{ik})}\text{\hspace{1em}(3)}$$
更直观一点解释就是行归一化，只不过是特殊的行归一化而已。

     作者在这里在进行行归一化之前加了一个非线性函数$LeakyRelu$。有了$(2)$, $(3)$和非线性关系$LeakRelu$,那么我们就可以轻松得到最后的注意力系数：
$$a_{ij}=softmax(LeakyRelu(e_{ij}))=\frac{exp(LeakyRelu(a[W{h}_i,W{h}_j]))}{{\sum }_{k\in N_i}exp(LeakyRelu(a[W{h}_i,W{h}_k]))}\text{\hspace{1em}(4)}$$
     注意一下哈，我在参考其他代码的时候发现系数$a$在每一次计算$eij$的过程中是不变的。
     那么上面这公式(2), (3)和(4) 时组成GAT的核心部分。最后一步得到最终的$attention$就需要把边的矩阵$A$结合起来, 即最后的$mask$部分。
即$$attentio{n}_{ij}=\{\begin{array}{ll}{a}_{ij}& \text{如果vi与vj有直接边相连}\\ infinite& \text{otherwise}\end{array}\text{\hspace{1em}(5)}$$
其中$attention\in R^{N\times N}$。
     有了这个最终$l+1$层的输出为:
$$h^{l+1}=\sigma (attention\times h_{l}W)$$
最终得到$h^{l+1}\in R^{N\times F^{\prime }}$

     自此，$GAT$的理论部分基本全部完成，其最终的目的时训练出注意力系数。以这个目的进行了一系列操作，本质上就是这个。

下面是重新整理公式与代码部分的相关的公式, 如果你不想看，可直接跳过.


     为了写代码的方便，这里我们把计算$attention$的部分用矩阵写出来
     已知 $h^l\in R^{N\times F}$ , $W\in R^{F\times F^{\prime }}$, 参数$a\in R^{1\times 2F^{\prime }}$， 这里可以解释一下$a$这里的作用，我们可以把$a$分成两部分，一个是自注意力系数，一个是邻居节点的注意力系数，即$a=[a_{self},a_{neibor}]$
$$h^{l+1}=h^{l}W\text{\hspace{1em}(6)}$$
$$attentio{n}_{self}=h^{l+1}{a}_{self}^T\text{\hspace{1em}(7)}$$
$$attentio{n}_{neibor}=h^{l+1}{a}_{neibor}^T\text{\hspace{1em}(8)}$$
$$attention=attentio{n}_{self}+attentio{n}_{neibor}^T\text{\hspace{1em}(9)}$$
$$attention=LeakRelu(attention)\text{\hspace{1em}(10)}$$
$$attentio{n}_{ij}=\{\begin{array}{ll}attentio{n}_{ij}& \text{如果vi与vj有直接边相连}\\ infinite& \text{otherwise}\end{array}\text{\hspace{1em}(11)}$$
$$attention=softmax(attetion)\text{\hspace{1em}(12)}$$
$$h^{l+1}=\sigma (attention\times h^{l+1})\text{\hspace{1em}(13)}$$

     有了公式$(6)-(13)$, 我们可以很容易的实现$GAT$的代码, 具体代码参考GAT的pytorch代码. 这个代码的实现只是我自己参考别人的代码实现，有些地方作了改动。当然也有star很多的代码pytorch星比较多的代码

GCN

     深度学习中, $CNN$中的卷积本质上是一个共享参数的特征提取, 通过计算中心像素点以及相邻像素点的加权和来构成$featuremap$, 实现空间特征的提取。但是这种理论只适用于$EuclideanStructure$, 对于$Graph$这种$NonEuclideanStructure$并不是很适用。那么如何将$CNN$中的思想引入到$Graph$中，成为一个很大的问题。这里为什么要研究GCN的原因，参考的知乎请移步这里。

     $spectraldomain$是GCN的理论基础, 主要借助图的$Laplacianmatrix$的特征值和特征向量来研究图的性质。

GCN的理论依据

     现有给定如下已知条件：顶点之间的边矩阵为$A\in R^{N\times N}$, $N$为图中顶点的个数, 显然可以知道$h\in R^{N\times F}$ 和和度矩阵$D\in R^{N\times N}$。$Laplacianmatrix$定义为
$$L=D-A\text{\hspace{1em}(14)}$$

图的拓扑结构	度矩阵(D)	边矩阵(A=e)	特征矩阵(f=h)	Laplacian matrix
	$\left[\begin{array}{cccc}2& 0& 0& 0\\ 0& 3& 0& 0\\ 0& 0& 2& 0\\ 0& 0& 0& 1\end{array}\right]$	$\left[\begin{array}{cccc}0& 1& 1& 0\\ 1& 0& 1& 1\\ 1& 0& 1& 0\\ 0& 1& 0& 0\end{array}\right]$	$\left[\begin{array}{c}4\\ 2\\ 4\\ -3\end{array}\right]$	$\left[\begin{array}{cccc}2& -1& -1& 0\\ -1& 3& -1& -1\\ -1& 0& 1& 0\\ 0& -1& 0& 1\end{array}\right]$

     这里不过多的介绍傅里叶分析里面的东西, 这里只需要记得$Laplacian$变换可以将上面的$vertexdomain$变换到$spectraldomain$, 或者简单的把$Laplacian$变换是操作在$Graph$中的一个算子即可。这里并不影响你理解$GCN$。这里简单说一下$Laplacianmatrix$的几个好的性质:

• $Laplacianmatrix$是一个对称矩阵, 那么就可以进行特征分解, 也就是谱分解
• $Laplacianmatrix$是一个半正定的矩阵，也就是其特征值${\lambda }_i\ge 0$

知道了这些，就可以对这些就可以对$L$进行特征分解，在线性代数中，有
$$L=U\Lambda U^T\text{\hspace{1em}(15)}$$ 其中$$\Lambda =\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_N\end{array}\right]$$
$U=[u_1,u_2,\dots ,u_N]\in R^{N\times N}$ 。
那么这个$U$就是一组标准的正交基向量, 显然有
$$U{U}^T=I\text{\hspace{1em}(16)}$$
这组标准正交基可以将$Vertexdomain$ 转化到$Spectraldoamin$中。现假设输入的矩阵为$x\in R^{N\times F}$， 那么转化到$Spectraldoamin$中变成:
$$\hat{x}=U^{T}x\text{\hspace{1em}(17)}$$
所有的特征都转化到$Spectraldoamin$中了，那么自然而然的联想到是否有有在$Vertexdomain$中的普通神经网络中的
$$y=\theta x$$
答案是肯定的，但是这个和在$Spectraldoamin$中有稍稍的不同, 我们以图1中的$Graph$为例进行简单的解释, 应该是怎么样的一种$\theta$的形式。

     在图2中，输入特征矩阵 $x$ (和GAT中的 $h^l$ 一致), 经过空间变换(傅里叶变换)成频率空间, $\hat{x}$ 表示 $x$ 经过变换后的结果。那么你看到的频率空间，$\hat{x}$ 就是图2中的 $s(w)$, 而图2中 $s(t)$ 是时间域的二维图。 本质上就是你以什么样的视角去看同一个东西。然后出现的不同结果。那么图3就是 $x$ 在频率上显示的图形。

图2 在不同空间的图解

图3 x在spectral domain上的显示x

解释一下这个是什么意思， $[{\lambda }_1,{\lambda }_2,{\lambda }_3,{\lambda }_4]$是在$spectraldomain$的频率大小。而$[u_{1}x,u_{2}x,u_{3}x,u_{4}x]$是每个频率上的数值大小。说白了就是$x$在基向量$u1$上的投影大小。现在只需要在每个频率上加一个参数就可以实现$CNN$上的$y=\theta x$了。即

图4 参数

那么就有
$$\left[\begin{array}{c}{\hat{y}}_1\\ {\hat{y}}_2\\ {\hat{y}}_3\\ {\hat{y}}_4\end{array}\right]=\left[\begin{array}{cccc}{\theta }_1& 0& 0& 0\\ 0& {\theta }_2& 0& 0\\ 0& 0& {\theta }_3& 0\\ 0& 0& 0& {\theta }_4\end{array}\right]\left[\begin{array}{c}{\hat{x}}_1\\ {\hat{x}}_2\\ {\hat{x}}_3\\ {\hat{x}}_4\end{array}\right]$$
显然这个参数与$\Lambda$和$\theta$有关，不妨将其记录为$g_{\theta }(\Lambda )$。那么就有关系：
$$\hat{y}=g_{\theta }(\Lambda )\hat{x}\text{\hspace{1em}(18)}$$
由公式(17)可知，(18)式可以变成
$$\hat{y}=g_{\theta }(\Lambda )U^{T}x\text{\hspace{1em}(19)}$$
现在只需要把$\hat{y}$反傅里叶变化成$Vertexdomain$中就可以。即
$$\hat{y}=U^{T}y=g_{\theta }(\Lambda )U^{T}x\text{\hspace{1em}(20)}$$
根据正交矩阵的性质, 也即公式(16), 就可以得到

$$y=U{g}_{\theta }(\Lambda )U^{T}x\text{\hspace{1em}(21)}$$
又因为$g_{\theta }(\Lambda )$是关于$\Lambda$的函数, 就可以变成

$$y=g_{\theta }(L)x\text{\hspace{1em}(22)}$$


然而公式(22)是所有一切以$GCN$罪恶的开始, 其他的所有都只是在做怎么估计这个$g_{\theta }(L)$。

主流的$GCN$是以$chebyshevpolynomial$为基础进行估计$g_{\theta }(L)$, $chebyshevpolynomial$为：
$$T_0(\Lambda )=I{T}_1(\Lambda )=\Lambda T_i(\Lambda )=2\Lambda T_{i-1}(\Lambda )-T_{i-2}(\Lambda )\text{\hspace{1em}(23)}$$

其中要满足两个关系式$\Lambda =\frac{2\Lambda }{{\lambda }_{max}}-I$，$\Lambda \in [-1,1]$。
有了上面的$chebyshevpolynomial$递推关系式(23)，不妨设：
$$g_{\theta }(\Lambda )=\sum _{k=0}^n{\theta }_k{\Lambda }^k$$
在$chebyshevpolynomial$中，取值$n=1,{\lambda }_{max}=2$，公式(22)就可以变成:

$$y={\theta }_{0}x+{\theta }_1(L-I)x\text{\hspace{1em}(24)}$$
取$L=I-D^{\frac{-1}{2}}A{D}^{\frac{1}{2}}$，这一步在原论文中成为正则化的结果.另外为了防止参数过多,令$\theta ={\theta }_0=-{\theta }_1$，那么式(24)可以变成
$$y=\theta (I+D^{\frac{-1}{2}}A{D}^{\frac{1}{2}})x\text{\hspace{1em}(25)}$$.
又令$I+D^{\frac{-1}{2}}A{D}^{\frac{1}{2}}=I+D^{\frac{-1}{2}}A{D}^{\frac{1}{2}}$，最终的形式变成了
$$y=\theta (D^{\frac{-1}{2}}A{D}^{\frac{1}{2}})x\text{\hspace{1em}(26)}$$.
式(26）再加上一个非线性变化也就是$GCN$的最终形式

$$y=\sigma (\theta (D^{\frac{-1}{2}}A{D}^{\frac{1}{2}})x)\text{\hspace{1em}(26)}$$.

代码部分也是参考式(26)的矩阵变形形式所写

$$y=\sigma ((D^{\frac{-1}{2}}A{D}^{\frac{1}{2}})x\theta )\text{\hspace{1em}(27)}$$.

把最终的结果转换成和GAT一样的参数变量,也即令$y=h^{l+1}$, $x=h^l$ 就有

$$h^{l+1}=\sigma ((D^{\frac{-1}{2}}A{D}^{\frac{1}{2}})h^l\theta )\text{\hspace{1em}(28)}$$.

有了公式$(28)$, 我们可以很容易的实现$GCN$的代码, 具体代码参考GCN的pytorch代码. 这个代码的实现只是我自己参考别人的代码实现，有些地方作了改动。当然也有star很多的代码星比较多的代码

结语

至此，GAT和GCN都基本讲完了, 在这个过程也学了很多东西，才怪.

参考文献

[1] https://arxiv.org/abs/1710.10903.
[2] https://blog.csdn.net/weixin_36474809/article/details/89401552.
[3]http://webia.lip6.fr/~durandt/pdfs/2017_CVPR/Durand_WILDCAT_CVPR_2017.pdf.
[4] https://www.zhihu.com/question/54504471?sort=created.
[5]https://www.bilibili.com/video/BV1G54y1971Sfrom=search&seid=3673449636835487631.
[6] https://blog.csdn.net/weixin_40013463/article/details/81089223.
[7] https://www.cnblogs.com/SivilTaram/p/graph_neural_network_1.html.