GRAPH ATTENTION NETWORKS (ICLR 2018)阅读笔记

GAT层的输入,一组节点的特征。输出,也是一组节点的特征。
输入的节点维度为F,输出的节点特征维度为F撇
在这里插入图片描述
一个权重矩阵W,维度为FF撇
GRAPH ATTENTION NETWORKS (ICLR 2018)阅读笔记_第1张图片
这个a就是来描述节点j对于节点i的重要性的
在这篇文章中,a是一个单层的前馈神经网络,由一个weight vector来参数化,这个vector 是2
F撇维的。
GRAPH ATTENTION NETWORKS (ICLR 2018)阅读笔记_第2张图片
然后开始聚合
GRAPH ATTENTION NETWORKS (ICLR 2018)阅读笔记_第3张图片
还有一种方法是:
GRAPH ATTENTION NETWORKS (ICLR 2018)阅读笔记_第4张图片
这种就是多取几个attention网络,学习得到不同的a,然后将最终得到的向量拼接在一起:
在这里插入图片描述
这里得到的最终结果是KF撇维的
或者不拼接,直接累加之后再平均:
在这里插入图片描述

你可能感兴趣的:(GRAPH ATTENTION NETWORKS (ICLR 2018)阅读笔记)