How powerful are graph neural networks

摘要

图神经网络（GNN）是用于图的表示学习的有效框架。 GNN遵循邻域聚合方案，其中节点的表示向量是通过递归聚合和转换其相邻节点的表示向量来计算的。 已经提出了许多GNN变体，并且在节点和图分类任务上都取得了最新的成果。 然而，尽管GNN革新了图形表示学习，但对其表示特性和局限性的理解仍然有限。 在这里，我们提出了一个理论框架，用于分析GNN捕获不同图形结构的表达能力。 我们的结果表征了流行的GNN变体（例如图卷积网络和GraphSAGE）的判别力，并表明它们无法学会区分某些简单的图结构。 然后，我们开发了一种简单的体系结构，该结构被证明是GNN类中最具表现力的，并且与WeisfeilerLehman图同构测试一样强大。 我们在许多图形分类基准上以经验方式验证了我们的理论发现，并证明了我们的模型实现了最先进的性能。

引言

使用图结构化数据（例如分子，社会，生物和金融网络）进行学习需要有效地表示其图结构（Hamilton et al。，2017b）。 最近，对于图表示学习的图神经网络（GNN）方法引起了人们的兴趣激增（Li等人，2016; Hamilton等人，2017a; Kipf＆Welling，2017; Velickovic等人，2018; 徐等人，2018）。 GNN广泛遵循递归邻域聚合（或消息传递）方案，其中每个节点都聚合其邻居的特征向量以计算其新特征向量（Xu等人，2018; Gilmer等人，2017）。 在聚合的k次迭代之后，节点由其转换后的特征向量表示，该特征向量捕获节点k跳邻域内的结构信息。 然后可以通过合并来获得整个图的表示（Ying等人，2018），例如，通过对图中所有节点的表示向量求和来获得。
已经提出了许多具有不同邻域聚合和图级池化方案的GNN变体（Scarselli等，2009b; Battaglia等，2016; Defferrard等，2016; Duvenaud等，2015; Hamilton等， 2017a; Kearnes等人，2016; Kipf＆Welling，2017; Li等人，2016; Velickovic等人，2018; Santoro等人，2017; Xu等人，2018; Santoro等人，2018; Verma＆Zhang，2018; Ying等，2018; Zhang等，2018）。 从经验上讲，这些GNN在许多任务（例如节点分类，链接预测和图形分类）中均达到了最新的性能。 但是，新GNN的设计主要基于经验直觉，启发式方法和实验性的反复试验。 对GNN的性质和局限性的理论了解甚少，对GNN的代表性能力的形式分析也很有限。
在这里，我们提出了一个用于分析GNN表示能力的理论框架。 我们正式表征了不同的GNN变体在学习表示和区分不同图形结构方面的表现力。 我们的框架的灵感来自于GNN与Weisfeiler-Lehman（WL）图同构检验（Weisfeiler＆Lehman，1968）之间的紧密联系，Wesfeiler-Lehman，1968是一种强大的测试，可以区分各种图（Babai＆Kucera，1979）。 与GNN相似，WL测试通过汇总其网络邻居的特征向量来迭代更新给定节点的特征向量。 WL测试如此强大的原因在于它的可注入聚合更新，该更新将不同的节点邻域映射到不同的特征向量。 我们的主要见解是，如果GNN的汇总方案具有较高的表达能力并且可以对内射函数建模，那么GNN可以具有与WL测试一样大的判别力。
为了从数学上形式化上述见解，我们的框架首先将给定节点的邻居的特征向量集表示为多集，即具有可能重复元素的集。
然后，可以将GNN中的邻居聚合视为多集上的聚合函数。 因此，为了具有强大的表示能力，GNN必须能够将不同的多集合聚合为不同的表示。 我们严格研究了多集函数的几种变体，并从理论上描述了它们的判别力，即不同的聚合函数可以如何区分不同的多集。 多集函数的判别能力越强，基础GNN的表示能力就越强大。
我们的主要结果概括如下：1）我们证明GNN在区分图结构方面最多与WL测试一样强大。
2）我们在邻居聚合和图读出功能上建立条件，在这些条件下，所得的GNN与WL测试一样强大。
3）我们确定了无法被流行的GNN变体区分的图结构，例如GCN（Kipf＆Welling，2017）和GraphSAGE（Hamilton et al。，2017a），并且我们精确地描述了基于GNN的模型的图结构类型 可以捕获。
4）我们开发了一个简单的神经体系结构，即图同构网络（GIN），并证明了其判别/表示能力等于WL测试的能力。
我们通过对图分类数据集进行实验来验证我们的理论，其中GNN的表达能力对于捕获图结构至关重要。 特别是，我们将GNN与各种聚合函数的性能进行了比较。 我们的结果证实，根据我们的理论，最强大的GNN（即图同构网络（GIN））在经验上也具有很高的表示能力，因为它几乎完全适合训练数据，而功能较弱的GNN变体通常严重不足以训练数据。 此外，具有代表性的更强大的GNN在测试集准确性方面胜过其他GNN，并在许多图形分类基准上达到了最先进的性能。

2问题

我们首先总结一些最常见的GNN模型，然后介绍我们的概念。 令G =（V，E）表示v∈V的节点特征向量Xv的图。 有两个有趣的任务：（1）节点分类，其中每个节点v∈V具有一个关联的标签yv，目标是学习v的表示向量hv，以便可以将v的标签预测为yv = f（hv） ; （2）图分类，在给定一组图{G1，…，GN}⊆G及其标签{y1，…，yN}⊆Y的情况下，我们旨在学习有助于预测的表示向量hG 整个图的标签yG = g（hG）。
图神经网络。 GNN使用图结构和节点特征Xv来学习节点hv或整个图hG的表示向量。 现代的GNN遵循邻域聚集策略，在该策略中，我们通过聚集邻居的表示来迭代更新节点的表示。 经过k次聚合后，节点的表示形式将捕获其k跳网络邻域内的结构信息。 形式上，GNN的第k层是
公式（2.1）
其中h（k）v是第k次迭代/层上节点v的特征向量。 我们初始化h（0）v = Xv，并且N（v）是与v相邻的一组节点。选择AGGREGATE（k）（·）和COMBINE（k）（·）GNN至关重要。 已经提出了许多用于AGGREGATE的架构。 在GraphSAGE的合并变体中（Hamilton et al。，2017a），将AGGREGATE公式化为
公式（2.2）
其中W是一个可学习的矩阵，MAX表示元素级的最大池。 组合步骤可以是串联，然后是线性映射W·h h（k-1）v，a（k）v i，如在GraphSAGE中一样。 在图卷积网络（GCN）（Kipf＆Welling，2017）中，改为使用了元素级均值池，并且AGGREGATE和COMBINE步骤集成如下：
公式（2.3）
许多其他的GNN可以用等式表示。 2.1（Xu et al。，2018; Gilmer et al。，2017）。
对于节点分类，将最终迭代的节点表示h（K）v用于预测。 对于图分类，READOUT函数汇总最终迭代中的节点特征，以获取整个图的表示形式hG：
公式（2.4）
READOUT可以是简单的置换不变函数（例如求和），也可以是更复杂的图形级合并函数（Ying等，2018; Zhang等，2018）。
Weisfeiler-Lehman检验。 图同构问题询问两个图在拓扑上是否相同。 这是一个具有挑战性的问题：尚无已知的多项式时间算法（Garey，1979； Garey＆Johnson，2002； Babai，2016）。 除了某些极端情况（Cai等，1992）之外，图同构的Weisfeiler-Lehman（WL）检验（Weisfeiler＆Lehman，1968）是一种有效且计算效率高的检验，可区分各种图（Babai和Kucera） （1979年）。 它的一维形式为“原始顶点细化”，类似于GNN中的邻居聚合。 WL测试迭代（1）聚合节点及其邻域的标签，以及（2）将聚合后的标签散列为唯一的新标签。 如果在某些迭代中两个图之间的节点的标签不同，则该算法确定两个图是非同构的。
根据WL测试，Shervashidze等人。 （2011年）提出了WL子树内核，用于测量图之间的相似性。 内核将在WL测试的不同迭代中使用的节点标签数作为图形的特征​​向量。 直观地讲，在WL测试的第k次迭代中，节点的标签代表了以该节点为根的高度k的子树结构（图1）。 因此，WL子树内核考虑的图形特征本质上是图形中不同根子树的计数。

3 理论框架

我们首先概述了用于分析GNN的表达能力的框架。 图1说明了我们的想法。 GNN递归更新每个节点的特征向量，以捕获其周围的其他节点的网络结构和特征，即其根源子树结构（图1）。 在整个论文中，我们假设节点输入特征来自可数的宇宙。 对于有限图，任何固定模型的更深层的节点特征向量也来自可数的宇宙。 为了简化符号，我们可以在{a，b，c中为每个特征向量分配一个唯一的标签。 。 }。 然后，一组相邻节点的特征向量形成一个多集（图1）：同一元素可以出现多次，因为不同的节点可以具有相同的特征向量
定义1（多集）。 多重集是集合的通用概念，它允许其元素具有多个实例。 更正式地说，多重集是2元组X =（S，m），其中S是X的底层集合，由它们的不同元素形成，而m：S→N≥1给出元素的多重性。
为了研究GNN的表示能力，我们分析了GNN何时将两个节点映射到嵌入空间中的相同位置。 直观上，功能强大的GNN仅将两个节点映射到相同位置，前提是它们具有相同的子树结构，并且在相应的节点上具有相同的特征。 由于子树结构是通过节点邻域递归定义的（图1），因此我们可以将分析简化为GNN是否将两个邻域（即两个多集）映射到相同的嵌入或表示的问题。 具有最大功能的GNN永远不会将两个不同的邻域（即特征向量的多集）映射到相同的表示形式。 这意味着其聚合方案必须是内射的。 因此，我们将GNN的聚合方案抽象为它们的神经网络可以表示的多集上的一类函数，并分析它们是否能够表示内射多集函数。
接下来，我们使用这种推理来开发功能最强大的GNN。 在第5节中，我们研究了流行的GNN变体，发现它们的聚合方案本质上不是内射的，因此功能不那么强大，但是它们可以捕获图的其他有趣特性。

4 构建GIN

首先，我们描述了基于GNN的通用模型的最大表示能力。 理想情况下，功能最强大的GNN可以通过将它们映射到嵌入空间中的不同表示形式来区分不同的图结构。 这种将任意两个不同图形映射到不同嵌入的能力意味着解决具有挑战性的图形同构问题。 也就是说，我们希望将同构图映射到相同的表示形式，将非同构图映射到不同的表示形式。 在我们的分析中，我们通过一个稍弱的标准来表征GNN的表示能力：一种强大的启发式方法，称为Weisfeiler-Lehman（WL）图同构测试，通常可以很好地工作，但有少数例外，例如正则图（ Cai等，1992；道格拉斯（Douglas），2011； Evdokimov＆Ponomarenko，1999）。
引理2。令G1和G2为任意两个非同构图。 如果图神经网络A：G→R d将G1和G2映射到不同的嵌入，则Weisfeiler-Lehman图同构测试还确定G1和G2不是同构的。
所有引理和定理的证明可以在附录中找到。 因此，任何基于聚集的GNN在区分不同图形方面至多与WL测试一样强大。 一个自然的后续问题是，是否存在原则上与WL测试一样强大的GNN？ 在定理3中，我们的答案是肯定的：如果邻居聚合和图级读出功能是内含的，那么生成的GNN与WL测试一样强大。
定理3设A：G→R d为GNN。 在具有足够数量的GNN层的情况下，如果满足以下条件，则A将Weisfeiler-Lehman同构检验确定为非同构的任何图G1和G2映射到不同的嵌入：
公式
其中作用于多集的函数f和φ是内射的。
b）一个图的级数是可射的，它在节点特征n h（k）v o的多个集合上进行运算。
我们在附录中证明定理3。 对于可数集合，内射性很好地描述了一个函数是否保留输入的唯一性。 节点特征连续的不可数集需要进一步考虑。 此外，表征学习到的特征在函数图像中的接近程度将很有趣。 我们将这些问题留给以后的工作，重点放在输入节点要素来自可数集（可以是不可数集的子集，例如R n）的情况下。
引理4。假定输入要素空间X是可数的。 令g（k）是GNN第k层针对k = 1，…，L参数化的函数，其中g（1）是在有界大小的多集X⊂X上定义的。 g（k）的范围，即节点隐藏特征的空间h（k）v，对于所有k = 1，…，L也是可计数的。
在这里，还有必要讨论GNN的一个重要好处，即区别不同的图，即捕获图结构的相似性。 请注意，WL测试中的节点特征向量本质上是单热编码，因此无法捕获子树之间的相似性。 相反，满足定理3中条件的GNN通过学习将子树嵌入到低维空间中来推广WL测试。 这使得GNN不仅可以区分不同的结构，而且还可以学习将相似的图结构映射到相似的嵌入并捕获图结构之间的依存关系。 表现出捕获节点标签的结构相似性有助于通用化，尤其是当子树的共生在不同图上稀疏出现或边缘和节点特征嘈杂时（Yanardag＆Vishwanathan，2015）。
4.1图同构（GIN）
在开发出功能最强大的GNN的条件后，我们接下来将开发一种简单的架构，即图同构网络（GIN），该构架可证明满足定理3中的条件。该模型将WL检验推广化，从而在GNN之间实现最大的判别力。
为了建模用于邻居聚合的内射多集函数，我们开发了一种“深度多集”理论，即使用神经网络对通用多集函数进行参数化。 我们的下一个引理指出，总和聚合器实际上可以表示多集上的内射函数。
引理5。假定X是可数的。 存在一个函数f：X→R n，使得h（X）= Px∈Xf（x）对于有界大小的每个多集X⊂X是唯一的。 此外，对于某个函数φ，任何多集函数g都可以分解为g（X）=φPx∈Xf（x）。
我们在附录中证明引理5。 证明将（Zaheer et al。，2017）中的设置从集合扩展到多集合。 深度多重集和集合之间的重要区别是某些流行的内射集函数（例如均值聚合器）不是内射多集函数。 通过将引理5中的通用多集函数建模的机制作为构建块，我们可以构想一个聚合方案，该聚合方案可以表示一个节点及其邻居的多集上的通用函数，从而满足定理3中的内射条件（a）。 我们的下一个推论是在许多此类汇总方案中提供了一种简单而具体的表述。
推论6.假设X是可数的。 存在一个函数f：X→R n，因此对于的无限多选择，包括所有无理数，h（c，X）=（1 +）·f（c）+ Px∈Xf（x） 对于每对（c，X）是唯一的，其中c∈X和X⊂X是有界大小的多重集。 而且，在这样的对上的任何函数g都可以分解为某些函数，g（c，X）= ϕ（1 +）·f（c）+ Px∈Xf（x）。
由于普遍逼近定理（Hornik et al。，1989; Hornik，1991），我们可以使用多层感知器（MLP）在推论6中建模和学习f和ϕ。 实际上，我们用一个MLP为f（k + 1）◦ϕ（k）建模，因为MLP可以表示函数的组成。 在第一个迭代中，如果输入特征是单热编码，则求和之前不需要MLP，因为它们的求和仅是内射的。 我们可以设定一个可学习的参数或一个固定的标量。 然后，GIN更新节点表示
公式（4.1）
通常，可能存在许多其他强大的GNN。 GIN是许多最大功能的GNN中的一个这样的例子，但它很简单
4.2GIN的图读出
GIN学习的节点嵌入可以直接用于诸如节点分类和链接预测之类的任务。 对于图分类任务，我们提出以下“读取”功能，在给定单个节点的嵌入的情况下，该功能可生成整个图的嵌入。
图级读出的一个重要方面是，与子树结构相对应的节点表示随着迭代次数的增加而变得更加细化和全局化。 足够数量的迭代是获得良好判别能力的关键。 但是，早期迭代的功能有时可能会更好地推广。 为了考虑所有结构信息，我们使用来自模型所有深度/迭代的信息。 我们通过类似于Jumping Knowled的架构来实现这一目标网络（Xu et al。，2018），其中我们替换了等式。 2.4图形表示形式在GIN的所有迭代/层之间串联在一起：
公式（4.2）
根据定理3和推论6，如果GIN取代了等式中的READOUT。 4.2通过对来自相同迭代的所有节点特征求和（由于等式4.1中的相同原因，在求和之前我们不需要额外的MLP），可证明地概括了WL测试和WL子树内核。

5 其它的GNN

接下来，我们研究不满足定理3条件的GNN，包括GCN（Kipf＆Welling，2017）和GraphSAGE（Hamilton et al。，2017a）。 我们在等式中对聚集器的两个方面进行消融研究。 4.1：（1）1层感知器而不是MLP，以及（2）均值或最大池化而不是总和。 我们将看到，这些GNN变体被令人惊讶的简单图形所迷惑，并且功能不如WL测试。 尽管如此，具有平均聚合器（如GCN）的模型在节点分类任务中仍然表现良好。 为了更好地理解这一点，我们精确地描述了哪些GNN变体可以捕获和不捕获图形，并讨论了使用图形学习的含义。
5.1 1层感知器不有效
引理5中的函数f帮助将不同的多集映射到唯一的嵌入。 它可以通过通用逼近定理由MLP进行参数化（Hornik，1991）。 尽管如此，许多现有的GNN却使用1层感知器σ◦W（Duvenaud等，2015; Kipf＆Welling，2017; Zhang等，2018），先是线性映射，然后是非线性激活函数，例如 一个ReLU。
这样的1层映射是广义线性模型的示例（Nelder＆Wedderburn，1972）。
因此，我们有兴趣了解1层感知器是否足以进行图学习。 引理7表明，确实存在着带有1层感知器的模型无法区分的网络邻域（多集）。
引理7 P存在有限的多重集X1 6 = X2，因此对于任何线性映射W，x∈X1ReLU（W x）= Px∈X2ReLU（W x）。
引理7的证明的主要思想是1层感知器的行为与线性映射非常相似，因此GNN层退化为对邻域特征的简单求和。 我们的证明基于以下事实：线性映射中缺少偏置项。 使用偏置项和足够大的输出维数，1层感知器可能能够区分不同的多集。 但是，与使用MLP的模型不同，1层感知器（即使带有偏差项）也不是多集函数的通用逼近器。 因此，即使具有1层感知器的GNN可以在不同程度上将不同的图嵌入到不同的位置，此类嵌入也可能无法充分捕获结构相似性，并且可能难以适合简单的分类器（例如线性分类器）进行拟合。 在第7节中，我们将凭经验看到带有1层感知器的GNN在应用于图分类时，有时严重不适合训练数据，并且在测试准确性方面比带有MLP的GNN更差
5.2 平均池和最大池的争论
如果我们用GCN和GraphSAGE中的均值或最大池替换h（X）= Px∈Xf（x）中的总和，会发生什么？ 均值和最大池聚合器仍然是定义明确的多集函数，因为它们是置换不变的。 但是，它们不是内射的。 图2通过三个聚合器的表示能力对它们进行排序，图3展示了均值聚合器和最大池聚合器无法区分的成对结构。 在这里，节点颜色表示不同的节点特征，我们假设GNN首先将邻居聚合在一起，然后再将它们与标记为v和v 0的中心节点组合在一起。
在图3a中，每个节点都具有相同的特征a，并且所有节点上的f（a）都相同（对于任何函数f）。 当执行邻域聚合时，f（a）的平均值或最大值仍为f（a），并且通过归纳，我们始终在各处获得相同的节点表示。 因此，在这种情况下，均值和最大池聚合器无法捕获任何结构信息。 相反，求和聚合器可以区分结构，因为2·f（a）和3·f（a）给出不同的值。 相同的参数可以应用于任何未标记的图。 如果将节点度数而不是常数值用作节点输入特征，则原则上均值可以恢复总和，但最大池化不能。
图3a表明，平均值和最大值难以区分具有重复特征节点的图。 令hcolor（r代表红色，g代表绿色）表示由f转换的节点特征。 图3b显示了蓝色节点v和v 0的邻域上的最大值产生了max（hg，hr）和max（hg，hr，hr），它们折叠为相同的表示形式（即使相应的图结构不同） 。 因此，最大池化无法区分它们。 相反，总和聚合器仍然有效，因为1 2（hg + hr + hr）和1 3（hg + hr + hr）通常不相等。 类似地，在图3c中，均值和最大值均失败为1 2（hg + hr）= 1 4（hg + hg + hr + hr）
5.3 平均层的贡献
为了表征均值聚合器可以区分的多集类别，请考虑示例X1 =（S，m）和X2 =（S，k·m），其中X1和X2具有相同的一组不同元素，但是X2包含k X1的每个元素的副本。 任何均值聚合器都会将X1和X2映射到相同的嵌入，因为它只是对各个元素特征取平均值。 因此，均值捕获的是多集合中元素的分布（比例），而不是确切的多集合。
推论8.假设X是可数的。 存在一个函数f：X→R n，使得对于h（X）= 1 | X | Px∈Xf（x），h（X1）= h（X2）当且仅当多集X1和X2具有相同的分布时。
也就是说，假设| X2 | ≥| X1 |，对于某个k∈N≥1，我们有X1 =（S，m）和X2 =（S，k·m）。
如果对于该任务，图表中的统计信息和分布信息比确切结构更重要，则平均聚合器可能会表现良好。 此外，当节点特征多样且很少重复时，平均聚合器的功能与和聚合器一样强大。 这可以解释为什么尽管有5.2节中指出的限制，但具有均值聚合器的GNN仍可有效用于节点分类任务，例如对文章主题进行分类和社区检测，其中节点特征丰富且邻域特征的分布为以下问题提供了强有力的信号： 任务。
5.4具有不同元素的最大出价学习集
图3中的示例说明，最大池将多个具有相同功能的节点视为仅一个节点（即，将多集视为一组）。 最大池化无法捕获确切的结构或捕获分布。 但是，它可能适合于需要识别代表性元素或“骨架”而不是区分确切结构或分布的任务。 Qi等。
（2017）从经验上表明，最大池聚合器学会了识别3D点云的骨架，并且对噪声和离群值具有鲁棒性。 为了完整起见，下一个推论表明最大池聚合器捕获了多集的基础集。
推论9.假设X是可数的。 然后存在一个函数f：X→R∞使得对于h（X）=maxx∈Xf（x），当且仅当X1和X2具有相同的基础se时，h（X1）= h（X2）
5.5 关于其他聚合器的评论
我们还没有涵盖其他非标准邻居聚合方案，例如通过注意力加权平均（Velickovic等，2018）和LSTM合并（Hamilton等，2017a; Murphy等，2018）。 我们强调，我们的理论框架足以概括任何基于聚集的GNN的表征能力。 将来，将我们的框架应用于分析和理解其他聚合方案将很有趣。

6其他相关工作

尽管GNN在经验上取得了成功，但在数学上研究其特性的工作相对较少。 Scarselli等人的工作是一个例外。 （2009a）表明可能最早的GNN模型（Scarselli等，2009b）可以近似地估计可测量函数的概率。 Lei等。 （2017）表明，他们提出的架构位于图内核的RKHS中，但没有明确研究它可以区分哪些图。 这些作品中的每一个都专注于特定的体系结构，并且不容易概括为多种体系结构。 相反，我们上面的结果为分析和表征广泛的GNN的表达能力提供了一个通用框架。 最近，已经提出了许多基于GNN的体系结构，包括求和聚合和MLP编码（Battaglia等人，2016； Scarselli等人，2009b； Duvenaud等人，2015），并且大多数没有理论推导。 与许多先前的GNN架构相比，我们的图同构网络（GIN）从理论上讲是动机，简单而强大。

7实验

我们评估和比较GIN和功能较弱的GNN变体的训练和测试性能。1训练集性能使我们能够根据不同的GNN模型的表示能力来比较它们，而测试集性能则量化了泛化能力。
数据集。 我们使用9个图分类基准：4个生物信息学数据集（MUTAG，PTC，NCI1，蛋白质）和5个社交网络数据集（COLLAB，IMDB-BINARY，IMDB-MULTI，REDDITBINARY和REDDIT-MULTI5K）（Yanardag＆Vishwanathan，2015）。 重要的是，我们的目标不是让模型依赖输入节点的功能，而是主要从网络结构中学习。
因此，在生物信息图中，节点具有分类输入特征，但是在社交网络中，它们没有特征。 对于社交网络，我们按如下方式创建节点特征：对于REDDIT数据集，我们将所有节点特征向量设置为相同（因此，此处的特征是无信息的）； 对于其他社交图，我们使用节点度的单编码。 表1汇总了数据集统计信息，有关数据的更多详细信息，请参见附录I。
型号和配置。 我们评估了GIN（方程4.1和4.2）和功能较弱的GNN变体。 在GIN框架下，我们考虑两个变体：（1）在等式中学习的GIN。 4.1梯度下降，我们称之为GIN-，（2）是一个更简单（功能稍逊一筹）的2 GIN，其中Eq。 4.1固定为0，我们称为GIN-0。 正如我们将看到的，GIN-0表现出了强大的经验性能：GIN-0不仅与GIN-一样都适合训练数据，而且还展示了良好的概括性，在测试准确性方面稍有提高，但始终优于GIN-。 对于功能较弱的GNN变体，我们考虑使用平均或最大池3替换GIN-0聚合中的总和的体系结构，或将MLP替换为1层感知器的体系结构，即遵循线性映射通过ReLU。 在图4和表1中，模型由其使用的聚合器/感知器命名。 在这里，平均1层和最大1层分别对应于GCN和GraphSAGE，直到较小的体系结构修改。 我们对GIN和所有GNN变体应用相同的图形级读数（在等式4.2中为READOUT），具体来说，由于更好的测试性能，生物信息学数据集的总读数和社交数据集的平均读数。
随后（Yanardag＆Vishwanathan，2015; Niepert等，2016），我们使用LIB-SVM进行了10倍交叉验证（Chang＆Lin，2011）。 我们报告了交叉验证中10折内验证准确性的平均和标准偏差。 对于所有配置，将应用5个GNN层（包括输入层），并且所有MLP都具有2个层。 批次归一化（Ioffe＆Szegedy，2015）适用于每个隐藏层。 我们使用初始学习率为0.01的Adam优化器（Kingma＆Ba，2015），每50个时代将学习率衰减0.5。
我们为每个数据集调整的超参数是：（1）对于生物信息图，隐藏单元的数目∈{16，32}​​，对于社会图，隐藏单元的数目∈{16，32}​​; （2）批量大小∈{32，128}; （3）致密层之后的辍学率∈{0，0.5}（Srivastava et al。，2014）; （4）选择时期数，即，交叉验证准确性最高的单个时期的平均值是10倍。 请注意，由于数据集规模较小，使用验证集进行超参数选择的替代设置非常不稳定，例如对于MUTAG，验证集仅包含18个数据点。 我们还报告了不同GNN的训练精度，其中所有超参数在数据集中都是固定的：5个GNN层（包括输入层），尺寸为64的隐藏单元，尺寸为128的最小批处理和0.5的辍学率。 为了进行比较，报告了WL子树内核的训练精度，其中我们将迭代次数设置为4，这与5个GNN层相当。通过ReLU。 在图4和表1中，模型由其使用的聚合器/感知器命名。 在这里，平均1层和最大1层分别对应于GCN和GraphSAGE，直到较小的体系结构修改。 我们对GIN和所有GNN变体应用相同的图形级读数（在等式4.2中为READOUT），具体来说，由于更好的测试性能，生物信息学数据集的总读数和社交数据集的平均读数。
基准 随后（Yanardag＆Vishwanathan，2015; Niepert等，2016），我们使用LIB-SVM进行了10倍交叉验证（Chang＆Lin，2011）。 我们报告了交叉验证中10折内验证准确性的平均和标准偏差。 对于所有配置，将应用5个GNN层（包括输入层），并且所有MLP都具有2个层。 批次归一化（Ioffe＆Szegedy，2015）适用于每个隐藏层。 我们使用初始学习率为0.01的Adam优化器（Kingma＆Ba，2015），每50个时代将学习率衰减0.5。
7.1结果
训练的表现我们为每个数据集调整的超参数是：（1）对于生物信息图，隐藏单元的数目∈{16，32}​​，对于社会图，隐藏单元的数目∈{16，32}​​; （2）批量大小∈{32，128}; （3）致密层之后的辍学率∈{0，0.5}（Srivastava et al。，2014）; （4）选择时期数，即，交叉验证准确性最高的单个时期的平均值是10倍。 请注意，由于数据集规模较小，使用验证集进行超参数选择的替代设置非常不稳定，例如对于MUTAG，验证集仅包含18个数据点。 我们还报告了不同GNN的训练精度，其中所有超参数在数据集中都是固定的：5个GNN层（包括输入层），尺寸为64的隐藏单元，尺寸为128的最小批处理和0.5的辍学率。 为了进行比较，报告了WL子树内核的训练精度，其中我们将迭代次数设置为4，这与5个GNN层相当。代表性能力：具有MLP的GNN变体比具有1层感知器的GNN变体具有更高的训练精度，并且具有求和聚合器的GNN倾向于比具有均值和最大池聚合器的GNN更好。
在我们的数据集上，GNN的训练精度永远不会超过WL子树内核的训练精度。 这是可以预期的，因为GNN的判别力通常比WL测试低。 例如，在IMDBBINARY上，没有一个模型可以完美地拟合训练集，而GNN最多可达到与WL内核相同的训练精度。 这种模式与我们的结果一致，即WL测试为基于聚集的GNN的表示能力提供了上限。 但是，WL内核无法学习如何组合节点特征，这对于给定的预测任务可能非常有用，我们将在接下来看到。
测试仪性能。 接下来，我们比较测试精度。 尽管我们的理论结果并未直接提及GNN的泛化能力，但可以合理地预期具有强大表达能力的GNN可以准确地捕获感兴趣的图结构，从而很好地泛化。 表1比较了GIN（Sum–MLP），其他GNN变体以及最新基准的测试精度。
首先，GIN，尤其是GIN-0，在所有9个数据集上均表现出较弱的GNN变体（或达到与之相当的性能），从而获得了最新的性能。 GIN闪耀在社交网络数据集中，其中包含相对大量的训练图。 对于Reddit数据集，所有节点都与节点要素共享相同的标量。 在这里，GIN和总和GNN可以准确地捕获图结构并明显优于其他模型。 但是，均值聚合GNN无法捕获未标记图的任何结构（如5.2节中的预测），并且其性能也不比随机猜测好。 即使将节点度作为输入特征，基于均值的GNN的效果也要比基于和的GNN差得多（在REDDIT-BINARY中，具有均值MLP聚合的GNN的精度为71.2±4.6％，而对于REDDIT-BIN，精度为41.3±2.1％ MULTI5K）。
比较GIN（GIN-0和GIN-），我们观察到GIN-0略微但始终优于GIN-。 由于两种模型均能拟合训练数据

8结论

本文为推理GNN的表达能力开发了理论基础，并证明了流行GNN变体的表示能力有严格的界限。 我们还在邻域聚合框架下设计了可证明的最大功能的GNN。 未来工作的一个有趣方向是超越邻域聚合（或消息传递），以追求可能更强大的体系结构以进行图学习。 为了使图片更完整，理解和改进GNN的泛化特性以及更好地了解其优化前景也将很有趣。