【图神经网络论文整理】（四）—— Understanding Attention and Generalization in Graph Neural Networks

---

• Boris Knyazev（University of Guelph Vector Institute），Graham W. Taylor（University of Guelph Vector Institute, Canada CIFAR AI Chair），Mohamed R. Amer∗（Robust.AI）
• 33rd Conference on Neural Information Processing Systems (NeurIPS 2019), Vancouver, Canada
• 论文地址

本文介绍的论文是《Understanding Attention and Generalization in Graph Neural Networks》。

作者旨在更好地了解图神经网络中节点的注意力，并确定影响其有效性的因素。本文特别关注注意力网络泛化到更大、更复杂或有噪声的图的能力。在对图同构网络工作的见解的启发下，设计了简单的图推理任务，允许在受控环境中研究注意力。发现在典型条件下，注意力的影响可以忽略不计，甚至是有害的，但在某些条件下，它在一些分类任务中提供了超过60%的性能增益。

---

一、背景

---

注意力在深度学习中的实际重要性已经确立，有许多支持它的论点，包括可解释性。在图神经网络（GNN）中，注意力可以定义在边或节点上。在这项工作中，我们将重点放在后者上，因为尽管在某些任务中同样重要，但它没有得到彻底的研究。为了开始我们的描述，我们首先建立注意力和集中方法之间的联系。在卷积神经网络（CNNs）中，池化方法通常基于将规则网格（如音频中的一维时间网格）均匀地划分为局部区域，并从该区域中获取单个值（平均值、加权平均值、最大值、随机值等），而CNNs中的注意力通常是一个单独的机制，该机制对C维输入X进行加权。

在GNN中，池化方法通常遵循与cnn相同的模式，但池化区域通常是基于聚类找到的，因为没有网格可以在数据集中的所有示例(图)中以相同的方式均匀划分为区域。

最近，top-k池化被提出，与其他方法不同:它只传播输入的一部分，而不是对“相似”节点进行聚类，并且这部分不是从输入中均匀采样。

二、模型方法

---

作者研究了GNN的两个变体：图卷积网络（GCN）和图同构网络（GIN）。

GIN的主要思想之一是用SUM聚合器替换节点上的MEAN聚合器，例如GCN中的一个，并在聚合相邻节点特征之后添加更多完全连接的层。与之前的模型相比，生成的模型可以区分更广泛的图形结构。

在一些实验中，发现GCN和GIN的性能都很差，因此，注意力子网络也很难学习。通过将GIN与ChebyNet结合，作者提出了一个更强的模型ChebyGIN。

ChebyNet是GCN的多尺度扩展，因此对于第一尺度，K=1，节点特征本身就是节点特征，对于K=2，在一跳邻居上对特征进行平均，对于K＝3，在两跳邻居上，以此类推。为了在ChebyGIN中实现SUM聚合器。

三、实验结果

---

该文介绍了颜色计数任务（COLORS）和三角形计数任务（TRIANGLES），其中生成了合成训练和测试图。作者还使用MNIST图像和三个分子和社会数据集进行了实验。

不同测试子集的三项任务结果

影响COLORS（a-e）和TRIANGLES（f）注意力和分类准确性的因素

四、总结

---

该篇文章证明，学习的注意力在图形神经网络中可以非常强大，但前提是它接近最优。

由于初始化的敏感性，这很难实现，特别是在无监督的环境中，我们无法获得基本事实的关注。因此，将高维输入的注意力模型的初始化确定为一个重要的开放问题。

作者还表明，注意力可以使GNN对更大和有噪声的图更鲁棒，并且该工作中提出的弱监督方法带来了与监督模型相似的优点，但同时可以有效地应用于没有注释注意力的数据集。