ICLR2021-1：MULTI-HOP ATTENTION GRAPH NEURAL NETWORKS

GAT的注意机制并没有考虑到非直接连接但提供重要网络上下文的节点，这可能会导致预测性能的提高。因此本文的作者提出了Multi-hop Attention Graph Neural Network (MAGNA)，将多跳上下文信息纳入注意力计算的原则方法，使GNN的每一层都能进行远程交互。为了计算非直接连接的节点之间的注意力，MAGNA将注意力分数分散到整个网络中，从而增加了GNN每一层的感受域。这样，网络聚合的信息增加，并且有注意力参数作为特征选择的指导。从理论上来说，3层每层6step的MAGNA和3×6=18的GAT具有相同的接受域，但是后者会因为模型的层数过深而过平滑。

图1.Multi-hop attention diffusion

Model

符号定义：

其中， T