2019 LCLR | How Powerful are Graph Neural Networks

2019 LCLR | How Powerful are Graph Neural Networks

Paper: https://arxiv.org/pdf/1810.00826
Code: https://github.com/weihua916/powerful-gnns

2019 LCLR | 图神经网络有多强大

图神经网络（GNNs）是一种有效的图表示学习框架。然而，对于它们的表示性质和局限性的理解还是有限的。因此，作者提出了一个理论框架来分析GNNs捕捉不同图形结构的表现力。并且开发了一个简单的体系结构，它可以证明是GNNs类中最具表现力的，并且与Weisfeiler-Lehman图同构测试一样强大。

贡献

• 证明了在区分图结构方面，GNNs最多只能和WL测试一样强大。
• 建立了邻域聚集和图形READOUT函数的条件，在这些条件下，得到的GNN与WL测试一样强大。
• 识别出了一些流行的GNN变体无法区分的图形结构，例如GCN（Kipf&Welling，2017）和GraphSAGE，并且我们精确地描述了这些基于GNN的模型能够捕获的图形结构的类型。-
• 开发了一个简单的神经网络结构，图同构网络（GIN），并证明了它的判别/表征能力等于WL检验的能力。

理论

• GNNs 公式
  
• GraphSAGE
  
• GCN
  
  对于节点分类任务来说，最后迭代的节点表示hv（K）直接用于预测。对于图分类来说，还需要READOUT函数将节点向量转化为图像，可以是简单的置换不变函数如求和，或更复杂的图形级池函数。

GNN实现的不同点一般在与AGGREGATE, COMBINE和READOUT的选择. 比如在GraphSAGE中, AGGREGATE就是dense + ReLu + Max Pooling, COMBINE就是concat+dense.

GIN模型

假设$G$图 的节点是可数的, 且节点的相邻节点 $N(v)$数量有上界, 那么存在一个函数$f:V->R^n$，使得有无限个$ϵ$函数

和$(v,N(v))$是对应的并且任意函数g都可以拆解成

MLP可以拟合任意函数

这里$ϵ$可以预先设定一个固定值, 也可以通过学习得到.
对于READOUT, 直接加和就好了, 为了让结果漂亮一点, 作者还concat了每一层的特征

数据集

4个生物信息学数据集MUTAG, PTC, NCI1, PROTEINS
5个社交网络数据集COLLAB, IMDB-BINARY, IMDB-MULTI, REDDIT- BINARY and REDDIT-MULTI5K

结果

参考

https://zhuanlan.zhihu.com/p/68064309