How powerful are graph neural networks?

How powerful are graph neural networks?

ICLR 2019

背景

1.图神经网络

图神经网络及其应用

2.Weisfeiler-Lehman test

同构：如果图G1和G2的顶点和边的数目相同，并且边的连通性相同，则这两个图可以说是同构的，如下图所示。也可以认为G2的顶点是从G1的顶点映射而来的。这是一个具有挑战性的问题：目前还没有已知的多项式时间算法。图同构的Weisfeiler-Lehman（WL）检验是一种有效且计算效率高的检验，它能区分一大类图。

WL测试：迭代地（1）聚合节点及其邻域的标签，（2）将聚合的标签散列成唯一的新标签。该算法判定两个图是非同构的，如果在某个迭代中两个图之间的节点的标签不同。
多重集：可以重复的一组元素。例如：{1,1,2,3}是一个多重集。WL测试中的多集是节点邻域的特征向量集。

WL测试算法

3.图神经网络和WL test的联系

观察：在WL检验的k次迭代中，一个节点的标号代表了一个以该节点为根的高度k的子树结构。因此，WL核所考虑的图特征本质上是图中不同根子树的标号计数。

GNN递归更新每个节点的特征向量，以捕捉周围其他节点的特征，即该节点的根子树结构。因为我们可以为{a，b，c，…}中每个节点的特征向量指定一个唯一的标签。然后，一组相邻节点的特征向量形成一个多重集：因为不同的节点可以有相同的特征向量。

如果一个GNN的聚合函数捕获了全部的多个节点邻居集，则GNN可以递归的方式捕获根子树，并具有WL测试一样强大的功能。如下图所示。

贡献

1.证明了GNNs在区分图结构方面的能力最多与WL测试一样强大。

2.建立邻域聚合和图形读出函数的条件，在此条件下，生成的GNN与WL测试一样强大。

3.开发了一个简单的神经网络结构图同构网络（GIN），并证明其表示能力与WL测试的能力相当。

方法

1. 引理一
   Let G1 and G2 be any two non-isomorphic graphs. If a graph neural network A : G → $R^d$ maps G1 and G2 to different embeddings, the Weisfeiler-Lehman graph isomorphism test also decides G1 and G2 are not isomorphic.

可以用反证法证明这条结论，这个引理说明了WL test是GNN的性能上界。

2. 定理一
   Let A : G → $R^d$ be a GNN. With a sufficient number of GNN layers, A maps any graphs G1 and G2 that the Weisfeiler-Lehman test of isomorphism decides as non-isomorphic, to different embeddings if the following conditions hold:
   a) A aggregates and updates node features iteratively with
   
   where the functions f, which operates on multisets, and φ are injective.
   b) A’s graph-level readout is injective.

可以用归纳法证明这条结论，这个定理给出了GNN要想达到WL test一样的性能需要满足的条件，基于这两个条件可以构造出达到性能上界的GNN。

3.GIN
前面的定理证明了GNN中图的节点邻域可以看成是多重集，而GNN的聚合过程实质上就是作用在多重集上的函数，只要保证这个函数是作用在多重集上的单射函数，就可以构造满足定理一的GNN，论文中证明了加法聚合器在多重集上是单射的。

GIN的结构如下


可以看到GIN通过K层的MLP来拟合定理一中的f和φ函数。

4.比较分析

文中分析了当前主流的GNN模型GCN和GraphSAGE的性能不如GIN的理论上原因，即它们采用的图神经网路聚合器不同，GCN和GraphSAGE的聚合器不是单射的。

实验

对于所有配置，应用5个GNN层（包括输入层），所有MLP都有2个层。
使用9个图形分类基准：4个生物信息学数据集（MUTAG、PTC、NCI1、蛋白质）和5个社会网络数据集（COLLAB、IMDB-BINARY、IMDB-MULTI、REDDIT-BINARY和REDDIT-MULTI5K）