ICLR 2020|PairNorm: Tackling Oversmoothing in GNNs

众所周知，GNNs的表现随着层数的增加而有所下降，这在一定程度上归结于over-smoothing这一问题，重复图卷积这一操作会使得节点的表示最终变得不可区分。作者希望通过采取两种不同的理解方式来量化over-smoothing这一问题，并提出解决这一问题的方法。

ICLR专题

原文：PairNorm: Tackling Oversmoothing in GNNs

众所周知，GNNs的表现随着层数的增加而有所下降，这在一定程度上归结于over-smoothing这一问题，重复图卷积这一操作会使得节点的表示最终变得不可区分。作者希望通过采取两种不同的理解方式来量化over-smoothing这一问题，并提出解决这一问题的方法。在仔细地研究过图卷积这一操作之后，作者提出了一种新奇的normalization layer---PairNorm，来防止节点的表示变得过于相似。除此之外，PairNorm具有高效且易于实现的特点，不需要对于整个模型架构做太多的改变，也不需要增加额外的参数，广泛地适用于所有的GNNs。

文章的贡献主要如下：

（1）提出一种normalization的方法来解决GNNs over-smoothing的问题；这一想法的关键点在于控制全部的两两节点间的特征向量的距离和为一个常数，这样可以使得距离较远的节点的特征向量的距离也比较远；

（2）高效并具有广泛应用的价值：直观来看（1）提出的方法，其实现过程像是需要对于每两个点之间的特征向量均计算距离，而后将其加入loss项中进行优化，但这一操作的复杂度为O(n2)，这是难以接受的。作者基于对于卷积操作前后的节点特征向量关系的理论分析，提出一种center-scale的方法，来使得这一过程变得高效，不需要增加额外的参数，并容易实现，从而具有了应用的价值；

（3）分析怎样的问题适合更加深层的GNNs：在现实数据集上的实验证明虽然PairNorm的方法确实可以处理over-smoothing这一问题，但GNNs的表现并不能随着层数的增加而上升，我们仍然无法从深层的GNNs中获益，据此作者分析了什么怎样的网络适合深层的GNNs，并构造数据验证了这一结论。

此外，作者提出了一种理解over-smoothing的视角，并从节点之间的特征向量的距离和一个节点的特征向量之间的差异来量化over-smoothing这一问题，而作者也正是从这一角度出发，提出了PairNorm的方法。同时作者还给出了节点特征向量经过图卷积这一操作之后所具有的性质---GRLS问题的近似解。

Figure 1：Graph-Regularized Least Squares（GRLS）问题

 

相关阅读：

ICLR 2020 | 预训练图神经网络模型

ICLR 2020 | 探索新的图表征学习思路

ICLR 2020 | NLP预训练模型的全新范式：对比学习

ICLR 2020 | 互信息视角下的表征学习

ICLR 2020 | 反事实因果理论如何帮助深度学习？

ICLR 2020 | 浅谈GNN：能力与局限

ICLR 2020 | 一种高效、表达能力强的可微分归纳逻辑推理模型

ICLR 2020 | 基于谱方法的高效多级图嵌入框架

ICLR 2020 满分论文解读| 一种镜像生成式机器翻译模型：MGNMT