GAT图注意力网络

GAT(Graph Attention Networks)，加入了注意力机制的图神经网络，与GCN不同的是，其消息传递的权重是通过注意力机制得到。
GAT的计算过程：
$a_{ij}=softma{x}_j{e}_{ij}\frac{exp(e_{ij})}{{\Sigma }_{k\in N_i}exp(e_{ik})}$     （1）
$e_{ij}=LeakyReLU({\alpha }^T[W{h}_i||W{h}_j])$  （2）
下面来详细解析这个公式

$a_{ij}$代表的是节点j传递到节点i时要乘上的权重
$h_i$和$h_j$；是当前输入层的节点i和节点j的特征表示，$W$是线性变换矩阵，形状是$W\in R^{F\times F^{\prime }}$，其中F就是输入特征的维度。F’是输出特征的维度。
||是向量拼接操作，原本维度为F的$h_i$与$h_j$；经过$W$线性变换后维度均变为$F^{\prime }$，经过拼接后得到维度为2F’的向量。此时再点乘一个维度为2F’的单层矩阵$\alpha$的转置，然后经LeakyReLU激活后得到1维的$e_{ij}$
得到所有的$e_{ij}$后， 再进行softmax操作，得到注意力权重$a_{ij}$

那么LeakyReLU函数是什么？
$$ReLU(x)=\{\begin{array}{l}x,x\ge 0\\ 0,x<0\end{array}$$
$$LeakyReLU(x)=\{\begin{array}{l}x,x\ge 0\\ \alpha x,x<0\end{array}$$

ReLU函数属于“非饱和激活函数”，由公式可见ReLU就是将所有负值都设为0。如果大多数的参数都为负值，那么显然ReLU的激活能力会大大折扣。
LeakyReLU在负值部分赋予了一个负值斜率$\alpha$。如此一来负值是会根据$\alpha$的值变化，而不会都为0。
LeakyReLu又衍生出了：PReLU（parametric rectified inear参数化线性修正），负值斜率由训练数据决定的RReLU（randomized rectified linear随机线性修正），负值斜率是在一个范围内随机取值，且会在训练过程中随机变化。

计算节点的在当前GAT网络层的输出向量$h_i^{\prime }$，即可描述为：
$h_i^{\prime }=\sigma ({\Sigma }_{j\in N_i}{\alpha }_{ij}W{h}_j)$   (3)
其中$\sigma (\cdot )$代表任意激活函数，$N_i$代表节点i的一阶邻居集，$W$与注意力计算中的$W$是一样的。到这就是一个消息传递，并用加权求和的方式进行消息聚合的计算过程。
在GAT中，我们可以进行多次消息传递操作，然后将每次得到的向量拼接或者求平均。这称之为多头注意力(Multi-Head Attention)，请看如下公式：
（GAT的论文中建议在GAT网络中间的隐藏层采取拼接操作，而最后一层采取平均操作。）
拼接每一层单头消息传递得到的向量：

平均每一层单头消息传递得到的向量：