图神经网络实战（8）——图注意力网络(Graph Attention Networks, GAT)

0. 前言

图注意力网络 (Graph Attention Networks, GAT) 是对图卷积网络 (Graph Convolutional Network, GCN) 的改进，提出了一种通过自注意力 (self-attention) 过程计算的加权因子，而不是使用静态的归一化系数。自注意力过程也是最成功的深度学习架构之一——Transformer 的核心，Transformer 被 BERT 和 GPT-3 广泛应用。GAT 于 2017 年由 Veličković 等人提出，凭借其出色的性能，已成为最受欢迎的图神经网络 (Graph Neural Networks, GNN) 架构之一。
在本节中，我们通过四个步骤了解图注意力层的工作原理，这是理解自注意力工作原理的绝佳示例。了解了理论知