知识图谱论文阅读笔记：KGAT

1、简介

在推荐系统中，为了提供更准确、多样化和可解释的推荐，除了考虑对user-item之间交互的建模外，还需要考虑辅助信息的影响。传统的方法如因式分解机（FM）将这个过程看作一个有监督学习问题，它假设每个交互都是一个独立的实体，并对边的信息进行编码。由于这些方法忽略了实体或项目之间的关系，因此不足以从用户的集体行为中提取出协同信号。

作者提出了一种新的方法，即知识图注意力网络（KGAT），它以端到端的方式对KG中的高阶连接进行显式建模。它递归地从节点的邻居（可以是用户、项目或属性）传播嵌入来细化节点的嵌入，并使用注意力机制来区分邻居的重要性。我们的KGAT在概念上优于现有的基于KG的推荐方法，这些方法要么通过提取路径来利用高阶关系，要么通过正则化对它们进行隐式建模。

KGAT的目标主要是预测图中的一个user与一个item是否会产生交互，做法是生成user-embedding与item-embedding，二者做内积作为概率。KGAT大体可以分为Embedding Layer与Attentive Embedding Propagation Layer，这两种layer的训练是相对独立的、损失函数也不同。

2、具体实现

2.1Embedding Layer

作者对用embedding向量去描述实体和关系，Embedding Layer从CKG图结构出发，以TransR为思想来训练。定义了如下损失函数:

其中

2.2Attentive Embedding Propagation Layers

这一层通过图卷积神经网络的形式来实现高阶连通性嵌入传播，此外，还利用了图注意力神经网络的思想，生成级联传播的关注权重。这里描述一个由信息传播、知识感知注意力机制和信息聚合三个部分组成的层。

3、实验结果

下图为模型在不同的数据集上的表现：

 

下图为不同的实验参数对KGAT的影响：