Graph Attention Networks 总结

作者：Petar Velickovic, Guillem Cucurull, Arantxa Casanova, Yoshua Bengio

来源：ICLR 2018

论文：https://arxiv.org/abs/1710.10903

源码：https://github.com/PetarV-/GAT ,https://github.com/Diego999/pyGAT

https://github.com/danielegrattarola/keras-gat

 

一、论文动机

       GCN将局部的图结构和节点特征结合在节点分类任务中获得好的表现。但GCN及其近似模型有两点不足：一是结合邻近节点特征的方式和图结构相关，限制模型泛化能力；二是给同阶邻域不同结点分配相同权重，限制模型捕捉空间信息相关性能力。本文提出GAT网络，使用masked self-attention层，用注意力机制对邻近节点特征加权求和，有效地解决了这些问题：为每个节点邻节点分配不同的权值，不需要矩阵运算和事先知道图结构（邻近节点特征的权重完全取决于节点特征，独立于图结构）。实验证明，GAT模型有效适用于（基于图的）归纳学习问题与转导学习问题。

二、论文创新

2.1引入masked self-attentional layers；

2.2给不同相邻节点分配相应的权重；

三、论文模型

Graph Attentional Layer:

 

单个 graph attentional layer

输入节点特征向量集： 

输出节点特征向量集： 

masked attention的方式将注意力分配到节点的邻节点集上，即  

本文中 使用单层的前馈神经网络实现。总的计算过程为：

四、论文算法

源码：

https://github.com/PetarV-/GAT https://github.com/Diego999/pyGAT

https://github.com/danielegrattarola/keras-gat

五、论文实验

5.1 数据集

Transductive learning.

Cora,Citeseer and Pubmed 

500 for validation and 1000for testing

Inductive learning

PPI  , 2 for validation and 2 for testing

5.2 baselines:

 

5.3 实验结果