GraphAIR: Graph representation learning with neighborhood aggregation and interaction

2020 Pattern Recognition

本次阅读只是为了介绍图表示模型，所以下文直接从模型开始介绍。

由邻域聚合方案产生的节点表示不太可能很好地捕捉复杂的非线性图，因为它们隐式地和低效地学习邻域交互。GraphAIR的嵌入生成算法，其目的是将邻域交互纳入到节点表示中。首先，建立了邻域相互作用的二次项的模型：

为系数，这里表示为

于是可以推导出来

需要注意的是，连接也被广泛使用，我们发现通过添加跳过连接可以更好地结合邻域聚合和交互。然而，尽管我们在这里采用跳跃连接，我们认为我们仍然不能从残差学习中获益，其中次优表示和残差函数都是由不同的非线性层实现的。因为聚合和交互是利用的相同的权重矩阵，这就意味着两种表征在反向传播过程中的变化高度相关。很重要的一点是，要把影响表现的变化因素弄清楚，因为一次只有几个因素会发生变化。因此,利用残差的学习,可以缓解优化,我们引入了另一个权重矩阵 to disentangle learning the neighborhood interaction from neighborhood aggregation。