图卷积神经网络GCN原理总结

1. 图信号处理知识

图卷积神经网络涉及到图信号处理的相关知识，也是由图信号处理领域的知识推导发展而来，了解图信号处理的知识是理解图卷积神经网络的基础。

1.1 图的拉普拉斯矩阵

拉普拉斯矩阵是体现图结构关联的一种重要矩阵，是图卷积神经网络的一个重要部分。

1.1.1 拉普拉斯矩阵的定义及示例

拉普拉斯矩阵的定义为：L=D-A，其中D为图的度矩阵，A为图的邻接矩阵。
数学表达式为：
$$L_{ij}=\{\begin{array}{ll}deg(v_i)& \text{if i=j}\\ -1& \text{if eij∈E}\\ 0& \text{otherwise}\end{array}$$
实例：

按照上述计算式子，可以得到拉普拉斯矩阵为：

1.1.2 正则化拉普拉斯矩阵

在GCN中用到的是拉普拉斯矩阵的正则化形式，其定义为：$L_{sym}=D^{-1/2}L{D}^{1/2}$，数学表达式为：
$$L_{sym}[i,j]=\{\begin{array}{ll}1& \text{if i=j}\\ \frac{-1}{\sqrt{deg(v_i)deg(v_j)}}& \text{if eij∈E}\\ 0& \text{otherwise}\end{array}$$

1.1.3 拉普拉斯矩阵的性质

拉普拉斯矩阵之所以在图卷积神经网络得到运用，一个重要原因是其本身具有很好的矩阵性质：
（1）拉普拉斯矩阵是一个反映图信号局部平滑度的算子；
对于任意给定的向量x，$Lx=(D-A)x=[...,{\sum }_{v_j\in N(v_i)}(x_i-x_j),...]$，从式子可以看出，拉普拉斯矩阵很好的反映了图信号局部平滑度。
（2）拉普拉斯矩阵是一个半正定矩阵，故其所有特征值均大于等于0；
证明：
对于任意给定的向量x，拉普拉斯矩阵的二次型为：
$x^{T}Lx={\sum }_{v_i}{\sum }_{v_j\in N(v_i)}{x}_i(x_i-x_j)={\sum }_{e_{ij}\in E}(x_i-x_j{)}^2\ge 0$
故拉普拉斯矩阵为半正定矩阵。
（3）拉普拉斯矩阵很好的刻画了图信号整体的平滑度；
由(2)，令$TV(x)=x^{T}Lx={\sum }_{e_{ij}\in E}(x_i-x_j{)}^2$，称其为图信号的总变差，由式子可以看出，其表示了各边关联的图信号的差值的平方，刻画了图信号整体的平滑度。
（4）由于$LI=0$，故拉普拉斯矩阵具有最小特征值0，另外，对于正则化拉普拉斯矩阵，可以证明，其特征值存在上限，小于等于2。

1.2 图上的傅里叶变换

傅里叶变换是一种分析信号的方法，它可分析信号的成分，也可用这些成分合成信号。它将信号从时域转换到频域，从频域视角给出了信号处理的另一种解法。
（1）对于图结构，可以定义图上的傅里叶变换(GFT)，对于任意一个在图G上的信号x，其傅里叶变换表示为：
$\widetilde{x_k}={\sum }_{i=1}^N{V}_{ki}^T{x}_i=<v_k,x>$
其中，称特征向量v为傅里叶基，$\widetilde{x_k}$是x在第k个傅里叶基上的傅里叶系数。
可以看出，傅里叶系数即为图信号x在傅里叶基上的投影，衡量两者间的相似度。
（2）逆图傅里叶变换：如傅里叶变换与逆傅里叶变换，图上的傅里叶变换也能推导其逆。
推导：
式子1：$\tilde{x}=V^{T}x,\tilde{x}\in R^N$
由于V是L的N个特征向量，是一个正交矩阵，故对式1做左乘V，则：$V\tilde{x}=V{V}^{T}x=Ix=x$，故有：
式子2：$x=V\tilde{x},x\in R^N$
故定义逆图傅里叶变换(IGFT)：$x_k={\sum }_{i=1}^N{V}_{ki}\widetilde{x_i}$
将式2展开，可得到逆图傅里叶变换的向量形式：
$x=V\tilde{x}=\widetilde{x_1}{v}_1+...+\widetilde{x_N}{v}_N={\sum }_{k=1}^N\widetilde{x_k}{v}_k$
从线代角度，可以清晰的看出：v1,…, vn构成了N维特征空间中的一组完备基向量，G中任意一个图信号都可表示为这些基向量的线性加权求和，系数为图信号对应傅里叶基上的傅里叶系数。


回到之前提到的拉普拉斯矩阵刻画平滑度的总变差：
$$\begin{gathered} TV(x)=x^{T}Lx=X^{T}V\lambda V^{T}x \\ =(V\tilde{x}{)}^{T}V\lambda V^T(V\tilde{x}) \\ =\widetilde{x^T}{V}^{T}V\lambda V^{T}V\tilde{x} \\ =\widetilde{x^T}\lambda \tilde{x}=\sum _k^N{\lambda }_k\widetilde{x_k^2} \end{gathered}$$
可以看成：刻画图平滑度的总变差是图中所有节点特征值的线性组合，权值为傅里叶系数的平方。
总变差取最小值的条件是图信号与最小的特征值所对应的特征向量完全重合，结合其描述图信号整体平滑度的意义，可将特征值等价成频率：特征值越低，频率越低，对应的傅里叶基变化缓慢，即相近节点的信号值趋于一致。
把图信号所有的傅里叶系数结合称为频谱(spectrum)，频域的视角从全局视角既考虑信号本身，也考虑到图的结构性质。

1.3 图信号滤波器

图滤波器(Graph Filter)为对图中的频率分量进行增强或衰减，图滤波算子核心为其频率响应矩阵，为滤波器带来不同的滤波效果。
故图滤波器根据滤波效果可分为低通，高通和带通。
低通滤波器：保留低频部分，关注信号的平滑部分；
高通滤波器：保留高频部分，关注信号的剧烈变化部分；
带通滤波器：保留特定频段部分；
而拉普拉斯矩阵多项式扩展可形成图滤波器H：
$H=h_0{L}^0+...+h_k{L}^k={\sum }_{k=0}^K{h}_k{L}^k$

2. 图卷积神经网络

2.1 数学定义

图卷积运算的数学定义为：
$x_1\ast x_2=IGFT(GFT(x_1)@GFT(x_2))$，其中@表示矩阵的哈达玛积运算(即对应位置的元素相乘)
对运算式子推导：
$$\begin{gathered} x_1\ast x_2=V((V^T{x}_1)@(V^T{x}_2))=V(\widetilde{x_1}@(V^T{x}_2)) \\ =V(diag(\widetilde{x1})(V^T{x}_2))=(Vdiag(\widetilde{x_1})V^T)x_2 \end{gathered}$$
令$H_{\widetilde{x_1}}=Vdiag(\widetilde{x_1})V^T$，则$x_1\ast x_2=H_{\widetilde{x_1}}{x}_2$
H作为图位移算子。
故图卷积可以等价于相应的图滤波，可将卷积运算定义为上述滤波运算。


由于图卷积等价于图滤波，而图滤波算子核心为其频率响应矩阵，故设频率响应矩阵为可训练参数，则可得到如下的网络层：
$$\begin{gathered} X^{\prime }=\sigma (V\left[\begin{array}{ccccc}{\theta }_1& & & & \\ & {\theta }_2& & & \\ & & \ddots & & \\ & & & & {\theta }_N\end{array}\right]V^{T}X) \\ =\sigma (Vdiag(\theta )V^{T}X)=\sigma (\Theta X) \end{gathered}$$
其中$\sigma$为激活函数，$\theta$为可训练参数，整个$\Theta$为需要训练的图滤波器(其实图卷积层就是在训练该层对应的图滤波器)，X为输入特征，X’为输出特征。
上述公式存在一个较大问题：学习参数为N，这涉及到整个图的所有节点，对于大规模数据极易发生过拟合。


进一步的化简推导：将之前说到的拉普拉斯矩阵的多项式展开代替上述可训练参数矩阵。
$$\begin{gathered} X^{\prime }=\sigma (V({\sum }_{k=0}^K{\theta }_k{\Lambda }^k)V^{T}X) \\ =\sigma (Vdiag(\Psi \theta )V^{T}X) \end{gathered}$$
其中$\theta$为可训练参数，与之前不同的是，此方法可控制K的大小进而限制参数数量，一般设K<

进一步的化简推导：限制K=1，再令所得${\theta }_0={\theta }_1=\theta$。
则$$\begin{gathered} X^{\prime }=\sigma ({\theta }_0{L}^{0}X+{\theta }_1{L}^{1}X) \\ =\sigma ({\theta }_{0}X+{\theta }_{1}LX) \\ =\sigma ((\theta (I+L)X) \\ =\sigma (\theta \tilde{L}X) \end{gathered}$$
此处的$\theta$是一个尺度变换，是不必要的，因此再令$\theta =1$，得到固定的图滤波器$\tilde{L}$。


最后一步推导：对得到的固定滤波器进行归一化处理，得到重归一化的拉普拉斯矩阵$\widetilde{L_{sym}}$(比拉普拉斯矩阵多一个自环)。
进一步地，为了加强拟合能力，作者引入了一个可训练参数的权重矩阵对输入特征进行线性变换，终于！得到了：
$X^{\prime }=\sigma (\widetilde{L_{sym}}XW)$
此结构内容即定义为图卷积层(GCN layer)，有图卷积层堆叠得到的网络模型即为图卷积网络GCN。

2.2 GCN的理解及时间复杂度

图卷积层是对频率响应矩阵的极大化简，将本要训练的图滤波器直接退化为重归一化拉普拉斯矩阵，图卷积操作变为$\widetilde{L_{sym}}x$,计算等价于对邻居节点的特征向量进行聚合，其节点层面的计算式子可表示为：
$x_i=\sigma ({\sum }_{v_j\in \tilde{N}(v_i)}\widetilde{L_{sym}[i,j](W{x}_j})$
可以很清晰的看出其特征聚合功能。
对比频域图卷积的矩阵分解$O(N^3)$的高时间复杂度，此图卷积层的空域操作时间复杂度大大降低了，为$O(|E|d)$

2.3 GCN的优缺点

优点：GCN作为近年图神经网络的基础之作，对处理图数据非常有效，其对图结构的结构信息和节点的属性信息同时学习，共同得到最终的节点特征表示，考虑到了节点之间的结构关联性，这在图操作中是非常重要的。


缺点：过平滑问题(多层叠加之后，节点的表示向量趋向一致，节点难以区分)，由于GCN具有一个低通滤波器的作用(j聚合特征时使得节点特征不断融合)，多次迭代后特征会趋于相同。

3. Pytorch代码解析

GCN层的pytorch实现：

class GraphConvolutionLayer(nn.Module):
    '''
        图卷积层:Lsym*X*W
            其中 Lsym表示正则化图拉普拉斯矩阵, X为输入特征, W为权重矩阵, X'表示输出特征;
            *表示矩阵乘法
    '''
    def __init__(self, input_dim, output_dim, use_bias=True):
        #初始化, parameters: input_dim-->输入维度, output_dim-->输出维度, use_bias-->是否使用偏置项, boolean
        super(GraphConvolutionLayer,self).__init__()
        self.input_dim=input_dim
        self.output_dim=output_dim
        self.use_bias=use_bias #是否加入偏置, 默认为True
        self.weight=nn.Parameter(torch.Tensor(input_dim, output_dim))#权重矩阵为可训练参数
        if self.use_bias==True: #加入偏置
            self.bias=nn.Parameter(torch.Tensor(output_dim)) 
        else: #设置偏置为空
            self.register_parameter('bias', None)
        self.reset_parameters()
    
    def reset_parameters(self):
        #初始化参数
        stdv = 1. / math.sqrt(self.weight.size(1))
        self.weight.data.uniform_(-stdv, stdv)#使用均匀分布U(-stdv,stdv)初始化权重Tensor
        if self.bias is not None:
            self.bias.data.uniform_(-stdv, stdv)
    
    def forward(self, adj, input_feature):
        #前向传播, parameters: adj-->邻接矩阵(输入为正则化拉普拉斯矩阵), input_future-->输入特征矩阵
        temp=torch.mm(input_feature, self.weight)#矩阵乘法, 得到X*W
        output_feature=torch.sparse.mm(adj, temp)#由于邻接矩阵adj为稀疏矩阵, 采用稀疏矩阵乘法提高计算效率, 得到Lsym*temp=Lsym*X*W
        if self.use_bias==True: #若设置了偏置, 加入偏置项
            output_feature+=self.bias
        return output_feature

定义两层的GCN网络模型：

class GCN(nn.Module):
    '''
        定义两层GCN网络模型
    '''
    def __init__(self, input_dim, hidden_dim, output_dim):
        #初始化, parameters: input_dim-->输入维度, hidden_dim-->隐藏层维度, output_dim-->输出维度
        super.__init__(GCN, self).__init__()
        #定义两层图卷积层
        self.gcn1=GraphConvolutionLayer(input_dim, hidden_dim)
        self.gcn2=GraphConvolutionLayer(hidden_dim, output_dim)
    
    def forward(self, adj, feature):
        #前向传播, parameters: adj-->邻接矩阵, feature-->输入特征
        x=F.relu(self.gcn1(adj, feature))
        x=self.gcn2(adj, x)
        return F.log_softmax(x, dim=1)