KGAT: Knowledge Graph Attention Network for Recommendation

摘要

推荐算法引入side info，传统算法（FM）假设每个交互都是一个带有side info 编码的独立实例，这些方法不足以从用户的集体行为中提取出协作信号。本文提出KGAT，显式地构造KG图中地高阶连通性。

1 引言

CF模型无法引入side info。SL模型引入side info的范式：将side info、uid，iid转化成特征向量，将他们送入监督模型来预测得分，比如FM、NFM、WideDeep、xDeepFM。
SL模型将一条交互建模成单独的数据样本，没有考虑交互之间的关系。

由图一可见CF和基于特征的SL模型的局限性，对于target user u1来说：

• CF模型关注历史行为的相似用户，也就是也看了i1的用户，u4
• 基于特征的SL模型，关注于和i1有相似特征（e1）的item，i2
• 忽略了黄色区域和灰色区域

为了解决SL模型的局限性，解决方法为考虑item side info的图形式（将KG和交互图混合，CKG，collaborative knowledge graph），这样就可以探索高阶连通性，就可以到达黄色区域和灰色区域。挑战有：阶数越高，计算复杂度高；高阶关系的加权和选择问题
CKG的研究有基于path的，基于正则化的，各有缺点；本文的KGAT使用GNN，高效、显式的和端到端的方式来对高阶连通性建模。

2 任务定义

• 用户-物品二部图
• 知识图谱，注意关系集合R包含正方向和逆方向（比如 电影被xx主演；xx主演电影；这是两个关系）
• 协调知识图，CKE，将用户行为和物品知识整合成一个统一关系图，将交互看作一种关系，整合两个图

任务描述：输入CKE；输出u对i地预测得分

• 高阶连通性，CF方法建立在用户之间的行为相似性之上，行为相似性就可以用高阶连通性来表示
  不同于CF模型，SL模型致力于基于属性的连通性，比如u1可能采用i2，i2和i1有相同的导演；但是SL模型不能展示跨field和相关实例的关系，比如：
  

3 模型

3.1 嵌入层

使用一种知识图嵌入模型——TransR，学习到实体和关系的表示。每个关系有一个转化矩阵 $W_r$，将头实体和尾实体投影到关系r的空间中。下式这个得分越小，表明嵌入越好。

采用pair loss来训练：

3.2 注意力嵌入传播层

信息传播，用 $N_h$ 表示h作为头实体的三元组集合，计算h的 ego-network，其中 $\pi$ 表示在关系r下从尾实体t传递信息到头实体h，的信息量比例。

知识感知的注意力，$\pi$ 通过关系注意力机制实现：

注意分数取决于h和t在关系r空间中的距离，越近的实体传递的信息量越多。h通过所有的尾实体来传递信息给自身*（感觉也可以反过来，尾实体由所有头实体传递信息）*，所以 $\pi$ 归一化的分母是所有尾实体：

GAN只以节点表示为输入，但是KGAT输入还包括关系r，在传播的过程中编码了更多信息。
信息聚合，聚合实体表示 $e_h$ 和 它的 ego-network表示 $e_{Nh}$ ，使用了三种聚合算子：

• GCN Aggregator
  
• GraphSage Aggregator
  
• Bi-Interaction Aggregator
  

嵌入传播层的优点在于显式地利用一阶连接信息来关联用户、物品和知识实体表示。

高阶传播，stack更多嵌入传播层，来探究高阶连通信息，从多阶邻居收集传播到的信息。

3.3 模型预测

concat 每一层的用户/物品 表示（包括初始的嵌入）得到最终表示
对最终表示进行内积得预测分

3.4 优化

BPR loss:

联合TransR的损失，最终损失函数为：

• 交替优化 $L_{KG}$ 和 $L_{CF}$

4 实验

4.1 数据描述

• 10-core
• Amazon-book和Last-FM，将item通过匹配Freebase中的实体；不同于现有的知识感知数据库只提供item的一阶实体，本文考虑涉及到item的二阶实体；
• Yelp2018，从数据中（目录、位置、属性）提取item KG
• 每个用户交互行为的80%作为训练集；训练集的随机10%作为验证集调参
• 每个正样本采样一个负样本

4.2 实验设置

评价指标：所有模型输出用户对所有物品的预测得分（除了训练集中的正样本），recall，ndcg
baseline: FM、NFM；CKE、CFKG；MCRec、RippleNet；GC-MC
参数：Adam、batch1024、Xavier初始化、网格搜索{学习率、dropout率、L2系数}；提前终止：当recall在验证集上连续50epoch没有增长

4.3 模型表现 RQ1

还探究了使用高阶连通性能否缓解稀疏性：基于user的交互数量划分测试集为4个组，并且保持4个组每个组的总交互数相同

4.4 消融实验 RQ2

layer number、聚合操作、KG嵌入和注意力

4.5 案例研究RQ3

个人认为本篇论文核心是：KG和交互图的混合；先用KGE初始化嵌入；再使用GNN进行信息传播，同时使用注意力机制，用多阶邻居节点共同更新当前节点的表示。