论文翻译：GRAPH ATTENTION NETWORKS

我们提出了图形注意力网络(GATs)，一种新型的神经网络架构，它在图形结构的数据上运行，利用掩蔽的自注意层来解决基于图形卷积或其近似方法的缺点。通过叠加节点能够参与其邻域特征的层，我们可以(隐式地)为邻域中的不同节点指定不同的权重，而不需要任何代价高昂的矩阵操作(比如反演)，也不需要预先知道图形结构。我们以这种方式处理西瓦拉问题：

卷积神经网络(CNNs)已被成功应用于解决图像分类(He et al.， 2016)、语义分割(Jegou et al.， 2017)或机器翻译(Gehring et al.， 2016)等问题，其中底层数据表示具有网格状结构。这些结构通过将其应用到所有的输入位置，有效地重用具有可学习参数的本地过滤器。

然而，许多有趣的任务所涉及的数据不能以网格状结构表示，而是位于一个不规则的域中。这是三维网格、社交网络、电信网络、生物网络或大脑连接体的例子。这些数据通常可以用图表的形式表示：

在文献中已经有几个扩展神经网络处理任意结构图的尝试。早期工作使用递归神经网络处理图域中表示为有向无环图的数据(Frasconi等，1998;Sperduti & Starita, 1997)。图神经网络(GNNs)在Gori等人(2005)和Scarselli等人(2009)中被引入，作为一种递归神经网络的推广，它可以直接处理更一般的一类图，例如循环图、有向图和无向图。gnn由一个迭代过程组成，它传播根据它的状态。Li等人(2016)采用并改进了这个想法，提出在传播步骤中使用门控循环单元(Cho et al.， 2014)。然而，人们对将卷积推广到图域越来越感兴趣。这方面的进展通常分为光谱方法和非光谱方法。一方面，光谱方法对图的光谱表示进行处理，并已成功地应用于节点分类。在Bruna等人(2014)中，卷积运算是通过计算Laplacian图的特征分解来定义在傅里叶域中的，从而导致潜在的密集计算和非空间局部滤波器。这些问题在后续的工作中得到了解决。Henaff等人(2015)引入了具有平滑系数的光谱滤波器的参数化，以使其在空间上局部化。Defferrard等人(2016)提出通过图的切比雪夫展开来近似滤波器
Laplacian，不需要计算Laplacian的特征向量，产生空间局部滤波器。最后，Kipf和Welling(2017)简化了前面的方法，限制滤波器在每个节点周围的1步邻域内运行。然而，在所有上述光谱方法中，学习滤波器依赖于拉普拉斯特征基，而拉普拉斯特征基依赖于图结构。因此，在特定结构上训练的模型不能直接应用。另一方面，我们有非光谱方法(Duvenaud et al.， 2015;阿特伍德& Towsley2016;(Hamilton et al.， 2017)，直接在图上定义卷积，对一组空间近邻进行操作。这些方法的挑战之一是如何定义一个操作符，该操作符与不同大小的邻域一起工作，并保持cnn的权重共享性质。在某些情况下，这需要学习每个节点度的特定权重矩阵(Duvenaud等，2015)，利用转移矩阵的幂定义邻域，同时学习每个邻域的权值这是一种空间方法，将CNN架构统一概括为图形。最近，Hamilton等人(2017)引入了一种用归纳方式计算节点表示的方法GraphSAGE。该技术通过对每个节点的固定大小的邻域进行采样，然后在其上执行特定的聚合器(例如所有采样邻域特征向量的平均值，或者通过递归神经网络将其输入的结果)。这种方法已经在几个大规模的感应基准测试中取得了令人印象深刻的性能。在许多基于序列的任务中，注意力机制几乎已经成为事实上的标准(Bahdanau等，2015;Gehring等，2016)。注意力机制的好处之一是，它们允许处理不同大小的输入，关注输入中最相关的部分来做出决定。当使用注意机制来计算单个序列的表示时，它通常被称为自我注意或内部注意。与递归神经网络(RNNs)或卷积一起，自我注意已被证明在诸如机器阅读(以及学习句子表征(Lin et al.， 2017)。然而,
Vaswani等人(2017)表明，自我注意不仅可以改进基于RNNs或卷积的方法，而且足以构建一个强大的模型，在机器翻译任务上获得最新的性能。受最近工作的启发，我们引入了一个基于注意力的架构来执行图形结构数据的节点分类。其思想是计算图中每个节点的隐藏表示，通过关注它的邻居，遵循自我关注策略。注意力结构有几个有趣的特性:(1)操作效率高，因为它可以并行地跨节点邻对;(2)通过对相邻节点指定任意权值，可应用于不同程度的图节点;(3)该模型直接适用于感应式lea我们在四个具有挑战性的基准上验证了所提出的方法:Cora、Citeseer和Pubmed引文网络以及蛋