ICLR 2020 图神经学习论文汇总

ICLR 2020 图神经学习论文汇总

1. Composition-based Multi-Relational Graph Convolutional Networks
2. Graph Neural Networks Exponentially Lose Expressive Power for Node Classification
3. What graph neural networks cannot learn: depth vs width
4. On the Equivalence between Node Embeddings and Structural Graph Representations
5. Dynamically Pruned Message Passing Networks for Large-scale Knowledge Graph Reasoning
6. Pruned Graph Scattering Transforms
7. The Logical Expressiveness of Graph Neural Networks
8. Efficient Probabilistic Logic Reasoning with Graph Neural Networks
9. Automated Relational Meta-learning
10. Curvature Graph Network
11. DeepSphere: a graph-based spherical CNN
12. Contrastive Learning of Structured World Models
13. Geom-GCN: Geometric Graph Convolutional Networks
14. Adaptive Structural Fingerprints for Graph Attention Networks
15. Graph inference learning for semi-supervised classification
16. Measuring and Improving the Use of Graph Information in Graph Neural Networks
17. Inductive Matrix Completion Based on Graph Neural Networks
18. Inductive representation learning on temporal graphs
19. Inductive and Unsupervised Representation Learning on Graph Structured Objects
20. PairNorm: Tackling Oversmoothing in GNNs
21. DropEdge: Towards Deep Graph Convolutional Networks on Node Classification
22. GraphSAINT: Graph Sampling Based Inductive Learning Method
23. GraphZoom: A Multi-level Spectral Approach for Accurate and Scalable Graph Embedding
24. Strategies for Pre-training Graph Neural Networks
25. InfoGraph: Unsupervised and Semi-supervised Graph-Level Representation Learning via Mutual Information Maximization
26. Few-Shot Learning on Graphs via Super-Classes based on Graph Spectral Measure
27. A Fair Comparison of Graph Neural Networks for Graph Classification
28. StructPool: Structured Graph Pooling via Conditional Random Fields
29. Memory-Based Graph Networks
30. Directional Message Passing for Molecular Graphs
31. GraphAF: a Flow-based Autoregressive Model for Molecular Graph Generation
32. Reinforcement Learning Based Graph-to-Sequence Model for Natural Question Generation
33. Graph Convolutional Reinforcement Learning
34. LambdaNet: Probabilistic Type Inference using Graph Neural Networks
35. Hoppity: Learning Graph Tranformations To Detect and Fix Bugs in Programs
36. Global Relational Models of Source Code
37. Learning deep graph matching with channel-independent embedding and Hungarian attention
38. Deep Graph Matching Consensus
39. Hyper-SAGNN: a self-attention based graph neural network for hypergraphs
40. Physics-aware Difference Graph Networks for Sparsely-Observed Dynamics
41. On the geometry and learning low-dimensional embeddings for directed graphs
42. Neural Execution of Graph Algorithms
43. Abstract Diagrammatic Reasoning with Multiplex Graph Networks

1 Composition-based Multi-Relational Graph Convolutional Networks

  基于关系的图卷积框架，用于多关系图。在本文中，作者设计了基于多关系图的GCN并提出了CompGCN。与现有的多关系GCN相比，CompGCN充分利用了知识图的嵌入，并学习了节点和关系的表示形式，目的是缓解过度参数化的问题。与现有工作相反，基向量仅定义用于初始化，而没有定义每个GCN层。作者还将提议的CompGCN与其他现有的GCN变体进行了比较，并总结了CompGCN与其他模型之间的关系。

2 Graph Neural Networks Exponentially Lose Expressive Power for Node Classification

  节点分类。随着层数达到无穷大，本文提供了图神经网络的理论分析。对于图卷积网络，它们将网络的表达能力与图谱联系起来。特别是对于Erdos-Renyi图，他们表明非常深的图会丢失信息，并基于此见解提出新的权重归一化方案。

3 What graph neural networks cannot learn: depth vs width

  理论上研究了图神经网络（GNN）的能力范围。

4 On the Equivalence between Node Embeddings and Structural Graph Representations

  节点嵌入与结构图表示的等价性。本文试图通过提供基于不变理论的统一理论框架，来阐明围绕图/节点表示学习的一些混淆概念。作者基于最小数量的需求定义节点嵌入和结构图表示，而这些需求又被用于派生一些有用的属性并统一两个看似不同的概念。在此基础上，提出了一种新的图神经网络框架。在具有多个数据集的多个任务上进行的实验验证了以下主要主张：单节点嵌入不足以捕获图的结构表示。

5 Dynamically Pruned Message Passing Networks for Large-scale Knowledge Graph Reasoning

  大规模的知识图谱，动态自适应地进行消息传递。本文提出了一种用于顺序推理任务的新神经网络架构。这个想法是有两个图神经网络（GNN），其中一个执行输入不变的全局消息传递，而另一个执行本地的依赖输入的消息传递。与输入有关的GNN采用流式注意机制。在一些知识完成数据集上的结果表明，所提出的方法优于最新方法。本文通过限制注意力范围来降低复杂性，非常有意思，而且也是大规模图所必需的。

6 Pruned Graph Scattering Transforms

  一种带有修剪算法的图散射变换（GST），目的是减少运行时间和空间成本，提高对输入图信号扰动的鲁棒性。

7 The Logical Expressiveness of Graph Neural Networks

  图神经网络的逻辑表达。本文在集合组合图神经网络（AC-GNN）和一阶谓词逻辑（FOC2）上的布尔节点分类器之间建立了新颖的理论联系。它表明，AC-GNN上的当前布尔节点分类器只能表示FOC2的一个子集，但是简单地将全局信息纳入扩展范围就可以将AC-GNN泛化为整个FOC2。

8 Efficient Probabilistic Logic Reasoning with Graph Neural Networks

  变分EM框架中采用图神经网络，以进行有效的马尔可夫逻辑网络推理和学习。本文提出使用图神经网络（GNN）进行MLN推理。主要动机似乎是传统MLN中的推理在计算上效率低下。这篇论文确切地说明了为什么会如此。引言中有一些暗示，即实体的数量是指数级的，而MLN子句中的指数与变量的数量有关。为了加快推理速度，作者建议改用GNN。由于GNN的表达能力有限，因此作者建议使用特定于实体的嵌入来提高表达能力。最终成分是均值场近似，有助于分解似然表达式。实验是在标准MLN基准（UW-CSE，Kinship，Cora）和链接预测任务上进行的。与HL-MRF相比，ExpressGNN的速度提高了5-10倍。在Cora上，HL-MRF似乎内存不足。在链接预测任务上，ExpressGNN似乎可以达到更好的准确性，但是由于ExpressGNN无法学习规则并且作者先使用NeuralLP学习规则，然后再使用ExpressGNN学习参数和推理，所以这个结果很难理解。

9 Automated Relational Meta-learning

  通过引入元知识图来解决元学习中的任务异构性问题。本文提出了通过提取跨任务关系并构造一个元知识图来处理元学习中的任务异质性，从而可以快速适应新任务。作者提出了一套全面的实验，这些实验显示了在2D回归任务和一系列“few-shot”分类任务上，性能均优于基线方法的情况。他们还进行了一些消融研究，并进行了其他分析/可视化以辅助解释。

10 Curvature Graph Network

  曲率图网络。通过整合曲率信息（基于Ricci曲率的概念），本文提出了一种新颖的图卷积网络。实验结果表明，所提出的曲率图网络方法优于现有的图卷积算法。一个潜在的限制是计算Ricci曲率的计算成本，这在附录中进行了讨论。

11 DeepSphere: a graph-based spherical CNN

  DeepSphere：一种基于离散球体图形表示的方法。本文提出了一种通过基于图的离散化将卷积网络应用于球面数据的新颖方法，主要思想是将离散球体建模为连接像素的图形：两个像素之间的最短路径的长度是它们之间测地距离的近似值。

12 Contrastive Learning of Structured World Models

  本文提出了一种在图神经网络之上应用对比学习的方法来学习场景的状态表示及其动作条件转换模型。结构化世界模型的构建和学习是一个有趣的研究领域，从原则上讲可以为预测模型提供更好的概括和可解释性。本文通过使用对比性的潜在空间克服了使用基于像素的损耗（常见的问题是重建较小但可能重要的物体）的问题。

13 Geom-GCN: Geometric Graph Convolutional Networks

  本文介绍了一种新颖的GCN框架，其目的是克服现有GCN方法的弱点，即结构邻居信息的丢失和无法捕获远距离节点之间的重要依存关系。本文使用从节点到嵌入式空间的映射，并介绍了第二种邻域类型：嵌入式空间中的邻近度。在嵌入式空间中，定义了一组节点关系。对于每个节点v，本文采用两阶段卷积方案：1）对于每种邻域类型，将与v具有相同关系的节点合并；2）将生成的节点再次合并为新的特征向量。这种方法可以克服上述问题。实验表明，在大多数情况下，该方法的性能优于现有的GCN解决方案，有时差距很大。

14 Adaptive Structural Fingerprints for Graph Attention Networks

  本文考虑了半监督学习环境下图节点分类的问题。在对节点进行分类时，决策是基于节点的特征以及其邻居的加权组合（其中权重是使用学习的注意力机制来计算的）。作者通过提出一种不同的方法来计算邻近节点上的注意力，从而扩展了最近的Graph Attention Networks（GAT）论文。这种新的关注机制不仅考虑了它们的特征相似性，而且还考虑了额外的结构信息，这也使他们的方法不仅可以参加直接邻居，而且可以参加k跳邻居。

15 Graph inference learning for semi-supervised classification

  作者提出了一种图推理学习框架，以解决图中稀疏标记数据的问题。作者使用结构信息和节点属性定义结构关系，然后将其用于从已知标签中推断未知标签。

16 Measuring and Improving the Use of Graph Information in Graph Neural Networks

  图神经网络（GNN）已被广泛用于图数据的表示学习。但是，对于GNN从图数据中获得多少性能的提升并没有被深入的透彻。本文介绍了一个context-surrounding的GNN框架，并提出了两个平滑度指标来度量模型从数据中获取的信息数量和质量。进一步，论文设计了一种GNN模型，CS-GNN，基于图平滑度值来改进图网络中信息的使用。

  该算法是对注意机制模型的改进，其中包含了标签和特征平滑度的度量。

  特征平滑度表示通过聚集相邻节点可以获得多少信息，标签平滑度评估此信息的质量。基于这两个指标，提出了CS-GNN，该框架利用相同标签的相邻节点的重要信息，减少来自不同类别的相邻节点的干扰。

17 Inductive Matrix Completion Based on Graph Neural Networks

  本文使用一种归纳矩阵完成（Inductive Matrix Completion，IMC）方法。IMC问题用于对推荐系统进行建模，在该推荐系统中，可能存在很少（甚至没有）观察到的评分的user-item，但每个user-item都与其他元数据或其他功能相关联。由于在特征空间中彼此接近的user-item可能共享相似的评分，因此在矩阵非常稀疏的情况下，也可以归纳填充评分。

  本文所提出的方法假定user-item对之间的等级由该pair周围的子图通过神经网络确定。这是一个inductive模型，并不需要任何辅助信息，仅使用周围的子图结构进行预测。

18 Inductive representation learning on temporal graphs

  本文解决了时间图表示学习的问题。主要贡献是将随机傅立叶特征用作动态图的时间（位置）编码，在节点分类和链接预测任务中利用图演化的学习到时间动态。文提出的时态图，将in-hop feature与自我注意进行聚合，并将时域信息与基于傅立叶的相对位置编码相结合。

19 Inductive and Unsupervised Representation Learning on Graph Structured Objects

  作者提出了一个通用框架SEED（Sampling, Encoding, and Embedding Distributions），用于图结构化对象的归纳和无监督表示学习。具体有三个步骤：（1）从原始图中采样一些子图 （2）学习这些子图的编码功能（子图->向量表示） （3）最后，对于每个图，得到一组向量表示，采用一种向量集相似性度量方法，计算图之间的距离。

20 PairNorm: Tackling Oversmoothing in GNNs

  GNN容易受到过度平滑问题的困扰，在该问题中，随着层数的增加，节点上的特征向量会越来越近。本文提出了PairNorm，解决此问题。这个想法是在一对不相邻的节点上拉开特征向量（基于NT和Maehara（2019）对Laplace型平滑的解释）。

  为了以较低的计算复杂度实现这一目标，PairNorm将所有节点pair上特征向量的距离总和在整个层上保持近似相同。本文进行了实证研究，以评估该方法的有效性。PairNorm改善了预测性能，并使GNN深度加深，尤其是在大部分节点中缺少特征向量时（SSNC-MV问题）。

21 DropEdge: Towards Deep Graph Convolutional Networks on Node Classification

  作者提出了一种简单而有效的策略，该策略旨在缓解深度图卷积网络（GCN）中的过度拟合，并减轻特征退化（平滑）。受传统MLP和卷积网络dropout的启发，作者提出了一种称为“ DropEdge”的新方法，该方法可以随机丢弃输入图的边缘，并在实验中证明与其他基准相比，该技术确实可以提高深层GCN的测试精度。

22 GraphSAINT: Graph Sampling Based Inductive Learning Method

  将GCN缩放到大图对于实际应用来说非常的重要。本文不对GCN层上的节点或边进行采样，而是对训练图进行采样，以提高训练效率和准确性。论文提出了一种针对大图的图卷积网络的训练方法。想法是在图部分样本上训练完整的GCN。基于图的连通性计算图样本，作者也提出了减少训练过程中的偏差和方差的方法。

23 GraphZoom: A Multi-level Spectral Approach for Accurate and Scalable Graph Embedding

  论文提出了一种通过图融合方法，以生成具有编码结构信息以及节点属性信息的新图。然后，迭代合并基于光谱相似性的节点。接着，使用现有方法从该合并的图中学习嵌入，并逐步将嵌入精炼为更精细的图。

24 Strategies for Pre-training Graph Neural Networks

  预训练

25 InfoGraph: Unsupervised and Semi-supervised Graph-Level Representation Learning via Mutual Information Maximization

  这篇文章关注无监督的图表示学习，提出了InfoGraph来得到graph-level的representation. 该方法基于Deep InforMax, 简单的说，这篇文章利用互信息这个点进行建模，并用在了图分类上。

26 Few-Shot Learning on Graphs via Super-Classes based on Graph Spectral Measure

  论文提出了一种基于图网络的Few-Shot图分类算法。该学习基于大量的基础类标记图和少量的新类标记图。学习过程由以下步骤组成，首先，基于图的频谱嵌入（在相应图谱上的分布）和具有Wasserstein度量的k-均值算法，将基类分为K个超类。其次，对于每个超类，通过特征提取器和分类器完成分类。在特征提取器和分类器的训练中，作者介绍了一个超图，每个节点代表一个超类。最后，在微调阶段，特征提取器被固定，并且基于新类对分类器进行训练。

27 A Fair Comparison of Graph Neural Networks for Graph Classification

  本文提供了几种现有图分类算法之间的经验比较，旨在对其进行公平比较，并提出了一个不考虑图结构信息的简单基线。

28 StructPool: Structured Graph Pooling via Conditional Random Fields

  论文提出了一种称为StructPool的操作，用于将图池视为节点聚类问题（将标记从1…k分配给每个节点），通过CRF显式捕获节点之间的高阶结构关系。

29 Memory-Based Graph Networks

  本文提出使用记忆网络（自我注意）从图上总结信息。提出的方法将节点嵌入“软聚类” 为较粗略的表示形式，并最终馈入最终的MLP进行分类。

30 Measuring and Improving the Use of Graph Information in Graph Neural Networks

  本文通过将物理方面的知识结合到图网络中，研究了量子化学的图神经网络。文章通过考虑原子之间角度来学习分子的图形表示，提出了一种特定类型的图神经网络，称为定向消息传递。

  论文提出的定向消息传递，是将消息嵌入到原子之间而不是原子本身之间。每个消息都与坐标空间中的方向相关联。由于相关联的方向随分子一起旋转，因此这些定向消息嵌入在旋转上是等距的。进一步，作者提出了一种类似于信念传播的消息传递方案，该方案通过根据消息之间的角度转换消息来使用方向信息。此外，作者使用球面Bessel函数构造理论，与高斯径向基函数相比，该方法可获得更好的性能，同时使用的参数减少了4倍。

作者：Johannes Klicpera, Janek Groß, Stephan Günnemann
Code: https://figshare.com/s/8f5355542c7ed98ffb2d

31 GraphAF: a Flow-based Autoregressive Model for Molecular Graph Generation

  分子图的生成在药物发现有着非常重要的意义。它不仅需要生成有化学意义的分子结构，而且还同时需要一定的化学性质。本文受到深度生成模型的最新进展启发，提出了一种基于流的图生成自动回归模型GraphAF。GraphAF结合了自回归和基于流的方法的优点：（1）数据密度估计的高度模型灵活性；（2）有效的并行计算训练；（3）迭代采样过程，该过程允许利用化学领域知识进行化合价检查。实验结果表明，即使没有化学知识规则，GraphAF仍能够生成68％的化学有效分子，而具有化学规则的100AF％的有效分子。GraphAF的训练过程比现有的最新方法GCPN快两倍。在通过强化学习对模型进行目标导向的性能优化进行微调后，GraphAF在化学性能优化和约束性能优化方面都达到了最先进的性能。

Code: http://bit.ly/2lCkfsr
作者：Chence Shi*, Minkai Xu*, Zhaocheng Zhu, Weinan Zhang, Ming Zhang, Jian Tang

32 Reinforcement Learning Based Graph-to-Sequence Model for Natural Question Generation

  问题生成（QG）的定义是在从段落和答案中生成问题。以前关于QG的工作或忽略了隐藏在文本中的丰富结构信息，或exposure bias，或无法充分利用答案信息。为了解决这些限制，在本文中，提出了一种基于增强学习（RL）的QG图形到序列（Graph2Seq）模型。模型包括一个Graph2Seq生成器和一个基于双向门控图神经网络的编码器，以及一个具有混合目标函数的混合评估器，该函数结合了交叉熵和RL损失，以确保生成句法和语义上有效的文本。论文进一步引入了一个有效的深度对齐网络，用于在单词和上下文级别将答案信息纳入段落。

概括一下：论文提出了两个模块来提高自然问题生成：深度对齐网络模块；段落图嵌入模块。
作者：Yu Chen, Lingfei Wu, Mohammed J. Zaki

33 Graph Convolutional Reinforcement Learning

  本文提出了一种算法，用在多智能体中的进行“合作”，该算法将智能体表示为图中的节点。每个智能体仅具有部分环境的视图，提出的算法使用多头注意力作为（图形）卷积核，其他方面与DQN算法相似。使用MAgent框架对三个任务的性能进行了评估。

34 LambdaNet: Probabilistic Type Inference using Graph Neural Networks

  Python和Typescript之类的编程语言中越来越流行。虽然类型注释（type annotations.）可以帮助捕捉静态错误之类的任务，但是编译器无法推断这些注释。本文论文提出了 一种基于GNN的方法来预测JavaScript和TypeScript代码中的类型注释。

35 Hoppity: Learning Graph Tranformations To Detect and Fix Bugs in Programs

  JavaScript是Web的标准编程语言。根据统计数据，全世界（至少）16亿个网站中有95％使用了该语言。本文提供了一种基于学习的方法来检测和自动修复Javascript程序中的各种错误。

  通过学习一系列图转换来构造问题：给定一个以图形结构为模型的程序，进行一系列预测，包括错误节点的位置和相应的图形编辑以产生修正。本文与以前使用深层神经网络的工作不同，该方法针对本更复杂和语义更深的bug。

36 Global Relational Models of Source Code

  (部分摘要)Unfortunately, these models primarily rely on graph-based message passing to represent relations in code, which makes them de facto local due to the high cost of message-passing steps, quite in contrast to modern, global sequence-based models, such as the Transformer. In this work, we bridge this divide between global and structured models by introducing two new hybrid model families that are both global and incorporate structural bias: Graph Sandwiches , which wrap traditional (gated) graph message-passing layers in sequential message-passing layers; and Graph Relational Embedding Attention Transformers (GREAT for short), which bias traditional Transformers with relational information from graph edge types. By studying a popular, non-trivial program repair task, variable-misuse identification, we explore the relative merits of traditional and hybrid model families for code representation.

  关键词：Models of Source Code, Graph Neural Networks, Structured Learning

37 Learning deep graph matching with channel-independent embedding and Hungarian attention

  图匹配旨在建立两个图之间的节点对应关系，这是一个经典的组合问题，通常是NP完全问题。最近，深度图匹配方法才开始诉诸于深度网络。沿着这个方向，本文做出了两个贡献：

  i）一种新的节点和边缘嵌入方法，可以利用注意力模型中的多头策略，并允许将每个通道中的信息合并。相反，在以前的工作中只考虑了节点嵌入。

  ii）设计了一种针对损失函数的通用mask机制，以提高图匹配的学习平滑度。使用Hungarian 算法，动态构造结构化且稀疏连接的层，同时将最有帮助的匹配对视为关注点。

关键词：图深匹配，边缘嵌入，组合问题，Hungarian 损失
作者：Tianshu Yu, Runzhong Wang, Junchi Yan, Baoxin Li

38 Deep Graph Matching Consensus

  本文提出了一种用于图匹配问题的端到端网络体系结构，其中首先应用GNN计算初始软对应关系，然后使用消息传递网络尝试解决结构不匹配问题。

  关键词：图匹配，图神经网络，邻域共识，深度学习

作者：Matthias Fey, Jan E. Lenssen, Christopher Morris, Jonathan Masci, Nils M. Kriege

39 Hyper-SAGNN: a self-attention based graph neural network for hypergraphs

  超图的表示学习可用于在许多实际问题。本文开发了一种新的基于自注意的图神经网络，称为Hyper-SAGNN，适用于具有可变超边尺寸的同构和异构超图

  关键词：Keywords: graph neural network, hypergraph, representation learning

作者：Ruochi Zhang, Yuesong Zou, Jian Ma
Code: https://drive.google.com/drive/folders/1kIOc4SlAJllUJsrr2OnZ4izIQIw2JexU?usp=sharing

40 Physics-aware Difference Graph Networks for Sparsely-Observed Dynamics

  提出了物理感知的差异图网络，旨在有效地学习空间差异以建模稀疏观测的动力学。

  关键词：物理感知学习，空间差分算子，稀疏动力学

作者：Sungyong Seo*, Chuizheng Meng*, Yan Liu
Code：https://github.com/USC-Melady/ICLR2020-PADGN

41 On the geometry and learning low-dimensional embeddings for directed graphs

  本文提出了一种无监督的在有向图中节点嵌入的流形学习方法，其中考虑了不对称性。图中的每个节点均由正态分布表示，对于每对节点，作者使用其分布之间的KL散度来拟合观察到的距离。KL散度的不对称性质与有向图的性质很好地匹配，并具有KL散度作为非对称相似性。作者提出了一种基于正则化KL散度目标的优化方法。

  所提出的方法将节点作为指数分布（例如高斯分布）学习在统计流形上。并进一步分析了与散度，几何形状和有效学习过程的联系。

  关键词：图嵌入，信息几何，图表示

作者：Thorben Funke, Tian Guo, Alen Lancic, Nino Antulov-Fantulin

42 Neural Execution of Graph Algorithms

  本文研究使用GNN来学习图算法。提出了一个模型，该模型由与算法有关的编码器和解码器以及与算法无关的处理器组成。作者尝试在各种类型的随机图上学习BFS，Bellman-Ford和Prim算法。

作者：Petar Veličković, Rex Ying, Matilde Padovano, Raia Hadsell, Charles Blundell

43 Abstract Diagrammatic Reasoning with Multiplex Graph Networks

  在本文中，作者解决了Raven渐进矩阵（RPM）推理的任务。
  关键词：reasoning, Raven Progressive Matrices, graph neural networks, multiplex graphs

作者：Duo Wang, Mateja Jamnik, Pietro Lio

参考资料：

ICLR 2020：https://www.aminer.cn/conf/iclr2020/news