论文笔记-Simple and Deep Graph Convolutional Networks

论文：https://arxiv.org/pdf/2007.02133v1.pdf
代码：https://github.com/chennnM/GCNII

GCN 大都在模型很浅的情况下有用，层数加深时会发生过平滑，本文作者提出了 GCNII，它是普通 GCN 模型加上两种简单而有效的技术：初始残差和单位映射。作者提供了理论和经验证据，证明这两种技术有效地缓解了过度平滑的问题。

1. 介绍

基于图的模型，如GCN和GAT，在两层模型中实现了最佳性能，但是这种浅层结构限制了它们从高阶邻域提取信息的能力。然而，叠加更多层和增加非线性往往会降低这些模型的性能。这种现象被称为过平滑（over-smoothing），随着层数的增加，GCN中节点的表示倾向于收敛到某个值，因此变得难以区分。

为了解决过平滑的问题，JKNet 使用密集的跳层连接组合每层的输出，以保留节点表示的局部性。DropEdge 通过从输入图中随机删除一些边，可以减轻过度平滑的影响。实验表明，随着网络深度的增加，这两种方法可以减缓性能下降。

另一些方法将深度传递与浅层网络结合起来。SGC 试图通过在单个神经网络层中应用图卷积矩阵的 k 次方来捕获图中的高阶信息。PPNP 和 APPNP 用 Personalized PageRank 矩阵替换图卷积矩阵的幂，解决过平滑问题。GDC 进一步扩展了 APPNP，将每个 Personalized PageRank 推广到任意图扩散过程。

但是，这些方法都是对每层中的相邻特征执行线性组合，失去了深层非线性结构的强大表达能力，这意味着它们仍然是浅层模型。

本文作者提出了 Graph Convolutional Network via Initial residual and Identity mapping (GCNII)，是一个可以解决过平滑问题的深层模型。.在每一层，都会构造一个跳层连接将初始特征与输入连接，而单位映射将单位矩阵添加到权重矩阵。实验表明，这两种简单技术可以防止过度平滑，并在增加网络深度的同时持续改善 GCNII的性能。

此外，作者还对多层 GCN 和 GCNII 模型进行了理论分析。

发现 K 层 GCN 基本上模拟了具有预定系数的第 k 阶多项式滤波器。这种滤波器模拟了最终收敛到平稳向量的随机游走，从而导致过度平滑。
证明了一个K层GCNII模型可以表达一个具有任意系数的有序多项式谱滤波器。这一特性对于设计深度神经网络至关重要。
推导了平稳向量的闭合形式，并分析了一般GCN的收敛速度。分析表明，在多层GCN模型中，高阶节点更容易遭受过度平滑，作者通过实验证实了这一理论推测。

2. 相关工作

GCN 提出了图卷积层：

其中，

SGC（Wu et al., 2019）表明，通过堆叠K 层GCN，对应了的图谱域上的 K 阶固定多项式滤波器。

APPNP (Klicpera et al., 2019a) 使用 Personalized PageRank 推导出一个 K阶的固定过滤器。令表示特征矩阵 X 上的两层全连接神经网络的输出，PPNP的模型定义为

具有K跳聚合的 APPNP 定义为

通过将特征转换和传播解耦，PPNP和APPNP可以在不增加神经网络层数的情况下聚合来自多跳邻居的信息。

JKNet 结合所有以前的表示学习不同图子结构的不同阶表示。（Xu et al.，2018）证明了：1）一个 K层 GCN 模型模拟了自循环图中K步的随机游动，2）通过组合前几层的所有表示，JKNet缓解了过度平滑的问题。

3. GCNII Model

为了让 GCN 能够表达具有任意系数的 K 阶多项式滤波器，作者使用了初始残差连接和单位映射，得到了GCNII：

这个公式可以拆成两部分来看，首先是残差连接，不是与前一层的输出连接，而是和最开始的第一层特征连接，于是有了

残差连接的思想来自于 ResNet，相同的思想应用在图上就是把和结合起来。但是这种残差连接只能部分解决过平滑的问题，随着层数加深，模型的性能仍然会下降。

因此作者直接将残差连接到了初始表示。初始残差连接确保每个节点的最终表示至少保留来自输入层的比例为的部分。可以设置，

这样每个节点的最终表示至少由输入特征的一小部分组成。此外，不一定是特征矩阵。如果特征维数很大，可以应用一个全连接的神经网络，在前向传播之前获得一个较低维的初始表示。

但是 APPNP 中也提到过相似的想法，并且发现对特征矩阵执行多个非线性操作将导致过度拟合，从而导致性能下降。仅仅使用残差连接并不能将GCN扩展到更深。

因此，作者在权重上做了一个单位映射确保深度 GCNII 模型至少达到与浅版本相同的性能。

将平滑的表示形式 PH 直接映射到输出，可以减少特征矩阵不同维度之间的频繁交互的干扰。

作者还设置了，目的是确保权重矩阵的衰减随着层数的增加而自适应地增加，，因此得到了：

4. 谱分析

4.1 多层GCN的谱分析

考虑一个带有残差连接的 GCN：

这个公式模拟了带有转移矩阵的 lazy 随机游走。

这种lazy随机游动最终会收敛到平稳状态，从而导致过度平滑。作者的分析表明，单个节点的收敛速度取决于其它的度。这个理论的细节可以看原文。

这个理论表明第 K 层的 GCN 会收敛到一个向量上，而这个向量只携带了两种信息：节点度数以及初始信号与的内积。也就意味着只与初始的特征和图的结构有关。

作者还提出了一个猜想，度数越高的节点越容易出现过度平滑，这一点在真实世界数据集里得到了验证。

4.2 GCNII的谱分析

(Wu et al., 2019) 证明了一个 K 层 GCN 模拟了一个具有固定系数θ的 K 阶多项式滤波器。这种固定系数限制了 GCN 的表达能力，从而导致过度平滑。而作者证明了一个 K 层 GCNII 模型可以表达具有任意系数的 K 阶多项式滤波器（定理2）。

一个 K 层的 GCN 模拟了一个固定的K阶多项式滤波器，过平滑是由于滤波器收敛到了和输入完全不相干的分布，从而导致了梯度消失。 DropEdge 减缓了这个收敛的速度。

另一方面，定理 2 表明深度 GCNII 收敛到一个分布，该分布携带来自输入特征和图结构的信息。这个属性可以确保 GCNII 即使层数达到无穷大也不会过度平滑。

5. 实验结果

半监督节点分类

可以看到随着层数加深 GCNII 依旧可以表现的很好。

代码

class GraphConvolution(nn.Module):

    def __init__(self, in_features, out_features, residual=False, variant=False):
        super(GraphConvolution, self).__init__() 
        self.variant = variant
        if self.variant:
            self.in_features = 2*in_features 
        else:
            self.in_features = in_features

        self.out_features = out_features
        self.residual = residual
        self.weight = Parameter(torch.FloatTensor(self.in_features,self.out_features))
        self.reset_parameters()

    def reset_parameters(self):
        stdv = 1. / math.sqrt(self.out_features)
        self.weight.data.uniform_(-stdv, stdv)

    def forward(self, input, adj , h0 , lamda, alpha, l):
        theta = math.log(lamda/l+1)
        hi = torch.spmm(adj, input)
        if self.variant:
            support = torch.cat([hi,h0],1) //与初始表示连接
            r = (1-alpha)*hi+alpha*h0
        else:
            support = (1-alpha)*hi+alpha*h0
            r = support
        output = theta*torch.mm(support, self.weight)+(1-theta)*r   // identity mapping
        if self.residual:
            output = output+input
        return output