图神经网络入门（三）GAT图注意力网络

本文是清华大学刘知远老师团队出版的图神经网络书籍《Introduction to Graph Neural Networks》的部分内容翻译和阅读笔记。
个人翻译难免有缺陷敬请指出，如需转载请联系翻译作者@Riroaki。

往期文章

图神经网络入门（一）GCN图卷积网络

图神经网络入门（二）GRN图循环网络

注意机制已成功用于许多基于序列的任务，例如机器翻译，机器阅读等等。与GCN平等对待节点的所有邻居相比，注意力机制可以为每个邻居分配不同的注意力得分，从而识别出更重要的邻居。将注意力机制纳入图谱神经网络的传播步骤是很直观的。图注意力网络也可以看作是图卷积网络家族中的一种方法。

Graph Attention Network (GAT)

GAT在传播过程引入自注意力（self-attention）机制，每个节点的隐藏状态通过注意其邻居节点来计算。

GAT网络由堆叠简单的图注意力层（graph attention layer）来实现，对节点对  ，注意力系数计算方式为：

其中，  是节点  到  的注意力系数，  表示节点  的邻居节点。节点输入特征为  ，其中  分别表示节点个数和特征维数。节点特征的输出为  。  是在每一个节点上应用的线性变换权重矩阵，  是权重向量，可以将输入映射到  。最终使用softmax进行归一化并加入LeakyReLU以提供非线性性质（其中负输入的斜率为0.2）。

最终节点的特征输出由以下式子得到：

此外，该层也利用多头注意力以稳定学习过程。它应用 K 个独立的关注机制来计算隐藏状态，然后将其特征连接起来（或计算平均值），从而得到以下两种输出表示形式：

其中  是第 k 个注意力头归一化的注意力系数，  表示拼接操作。模型细节如下图所示：

这一模型结构具有如下特点：

• 节点-邻居对的计算是可并行化的，因此运算效率很高（和GCN同级别）； 

• 可以处理不同程度的节点，并为其邻居分配相应的权重； 

• 可以很容易地应用于归纳学习（inductive learning）问题。

• 与GCN类似，GAT同样是一种局部网络，无需了解整个图结构，只需知道每个节点的邻节点即可。

补充：
归纳学习（inductive learning）与转导学习（transductive learning）
在半监督学习场景中，大部分数据是没有标注的。
如果和常规的学习一样使用归纳学习，只采用标注数据进行训练，并且尝试对没有见过的数据进行分类，效果可能会很糟糕。
但是转导学习就不同。它可以引入没有标签的数据，学习数据的分布信息，并且在测试时对（已经见过的）没有标注的数据进行分类。
因此，一般来说转导学习的效果会更好。当然，一般的任务都是使用归纳学习模型解决。

以下来自维基百科（ en.wikipedia.org/wiki/T ）：
归纳尝试从特殊案例归纳出一般特征（train），再应用于特殊案例（test）。
转导尝试从特定案例（train）中学习并应用到特定案例（test）。
后者的难度更小。

还有一个有趣的概念是主动学习（active learning），有兴趣的读者可以自行了解。

GAT在半监督节点分类，链接预测等多项任务上均胜过GCN。

详见原论文《Graph attention networks》

---

Gated Attention Network （GaAN）

除了GAT之外，门控注意力网络（GaAN）也使用多头注意力机制。GaAN中的注意力聚合器与GAT中的注意力聚合器的区别在于，GaAN使用键值注意力和点积注意力，而GAT使用全连接层来计算注意力系数。
此外，GaAN通过计算其他soft gate为不同的注意力头分配不同的权重。该聚合器称为门控注意聚合器。详细地讲，GaAN使用卷积网络，该卷积网络具有中心节点的特征，并且与之相邻以生成门值。

在归纳节点分类问题中，GaAN可以优于GAT以及其他具有不同聚合器的GNN模型。

关于本模型的细节，原文没有过多介绍，有待补充。

详见原论文《GaAN: Gated Attention Networks for Learning on Large and Spatiotemporal Graphs》