【图表示学习】图注意力网络GAT

图注意力网络(Graph Attention Network)

一、简介

CNN只能用来解决grid-like结构的数据。有很多任务的数据无法表示成grid-like结构，但可以表示成为图结构。GAT(Graph Attention Networks)就是一种处理图结构数据的神经网络。该网络是基于注意力机制实现的。

二、GAT结构

1.图注意力层的输入与输出

图注意力层(Graph Attentional Layer)是构成整个GAT的唯一种类的层。

该层的输入是多个节点的特征，$\text{h}=\{h_1,h_2,\dots ,h_N\},h_i\in {\mathbb{R}}^F$，其中$N$是节点数量，$F$是每个节点的特征数量。

该层的输出是这些节点的新特征，${\text{h}}^{\prime }=\{h_1^{\prime },h_2^{\prime },\dots ,h_N^{\prime }\},h_i^{\prime }\in {\mathbb{R}}^{F^{\prime }}$，其中$F^{\prime }$是新特征的维度。

2.注意力系数的计算

注意力机制的核心是计算各个部分对最终目标的贡献程度，这个贡献程度就是注意力系数。在图结构中，注意力系数是指某个节点对当前节点的贡献程度。具体来说，在GAT中节点$j$的特征对节点$i$特征的贡献程度表示为$e_{ij}$，其计算公式为
$$e_{ij}=a(\text{W}{h}_i,\text{W}{h}_j)$$
其中$\text{W}\in {\mathbb{R}}^{F^{\prime }\times F}$，$a$是计算两个向量相似度的函数。在论文的实验中函数$a$使用单层前馈网络，即
$$a(x,y)=LeakyReLU({\text{a}}^T[x||y])$$
其中，$LeakyReLU$是激活函数，$\text{a}\in {\mathbb{R}}^{2F^{\prime }}$，$\Vert$表示向量拼接。

3.Masked Attention机制

在GAT中，注意力机制只作用在一阶相邻节点(当然，也可以作用在更高阶)，为了统一量纲这里使用$softmax$函数对注意力系数进行标准化
$${\alpha }_{ij}=softma{x}_j(e_{ij})=\frac{exp(e_{ij})}{{\sum }_{k\in {\mathcal{N}}_i}exp(e_{ik})}$$
其中，$j\in {\mathcal{N}}_i$，${\mathcal{N}}_i$表示节点$i$的邻居节点。

这里将计算${\alpha }_{ij}$的所有部分展开，
$${\alpha }_{ij}=\frac{exp(LeakyReLU({\text{a}}^T[\text{W}{h}_i||\text{W}{h}_j]))}{{\sum }_{k\in {\mathcal{N}}_i}exp(LeakyReLU({\text{a}}^T[\text{W}{h}_i||\text{W}{h}_k]))}$$
得到标准化的注意力系统${\alpha }_{ij}$后，使用这些系数进行线性合并，得到节点$i$的新特征，即
$$h_i^{\prime }=\sigma \left(\sum _{j\in {\mathcal{N}}_i}{\alpha }_{ij}\text{W}{h}_j\right)$$

图1. 注意力系数的计算

4. 多头机制与输出层

为了能够更稳定的学习新特征，引入了多头机制。这里假设有$K$个独立的注意力机制，那么多头注意力机制就是将各个注意力特征进行合并
$$h_i^{\prime }={\Vert }_{k=1}^K\sigma \left(\sum _{j\in {\mathcal{N}}_i}{\alpha }_{ij}^k{\text{W}}^k{h}_j\right)$$
在网络的最终层执行多头注意力机制，不再使用拼接，而使用平均，并且延期使用激活函数(softmax、sigmoid等)
$$h_i^{\prime }=\sigma \left(\frac{1}{K}\sum _{k=1}^K\sum _{j\in {\mathcal{N}}_i}{\alpha }_{ij}^k{\text{W}}^k{h}_j\right)$$

图2. 多头注意力机制

三、GAT的优势

1. 计算高效。自注意力层可以并行化，计算输出特征也可以并行化。
2. 为不同的节点分配不同的重要度。
3. 图不必是无向的。
4. 直接适用于归纳学习(inductive learning)。
5. 直接作用于领域，且不做任何顺序假设。