【论文笔记】KDD2019 | KGAT: Knowledge Graph Attention Network for Recommendation

Abstract

为了更好的推荐，不仅要对user-item交互进行建模，还要将关系信息考虑进来

传统方法因子分解机将每个交互都当作一个独立的实例，但是忽略了item之间的关系（eg：一部电影的导演也是另一部电影的演员）

高阶关系：用一个/多个链接属性连接两个item

KG+user-item graph+high order relations—>KGAT

递归传播邻域节点（可能是users、items、attributes）的嵌入来更新自身节点的嵌入，并使用注意力机制来区分邻域节点的重要性

Introduction

$u_1$是要向其提供推荐的目标用户。黄色圆圈和灰色圆圈表示通过高阶关系发现但被传统方法忽略的重要用户和项目。

例如，用户$u_1$看了 电影$i_1$，CF方法侧重于同样观看了$i_1$的相似用户的历史，即$u_4$和$u_5$，而监督学习侧重于与$i_1$有相同属性$e_1$的电影$i_2$，显然，这两种信息对于推荐是互补的，但是现有的监督学习未能将这两者统一起来，比如说这里$i_1$和$i_2$的$r_2$属性都是$e_1$，但是它无法通过$r_3$到达$i_3$，$i_4$，因为它把它们当成了独立的部分，无法考虑到数据中的高阶关系，比如黄色圈中的用户看了同一个导演$e_1$的其他电影$i_2$，或者灰色圈中的电影也与$e_1$有其他的关系。这些也是作出推荐的重要信息。
$$\begin{array}{l}{u}_1\stackrel{r_1}{⟶}{i}_1\stackrel{-r_2}{⟶}{e}_1\stackrel{r_2}{⟶}{i}_2\stackrel{-r_1}{⟶}\left\{u_2,u_3\right\},\\ u_1\stackrel{r_1}{⟶}{i}_1\stackrel{-r_2}{⟶}{e}_1\stackrel{r_3}{⟶}\left\{i_3,i_4\right\},\end{array}$$

存在问题

利用这种高阶信息是存在挑战的：

1） 与目标用户具有高阶关系的节点随着阶数的增加而急剧增加，这给模型带来了计算压力

2） 高阶关系对预测的贡献不均衡。

为此，论文提出了 Knowledge Graph Attention Network (KGAT) 的模型，它基于节点邻居的嵌入来更新节点的嵌入，并递归地执行这种嵌入传播，以线性时间复杂度捕获高阶连接。另外采用注意力机制来学习传播期间每个邻居的权重。

GNN->KGAT

1、递归嵌入传播，用领域节点嵌入来更新当前节点嵌入

2、使用注意力机制，来学习传播期间每个邻居的权重

优点：

1、与基于路径的方法相比，避免了人工标定路径

2、与基于规则的方法相比，将高阶关系直接融入预测模型

3. 模型框架

3.1 问题定义

Input：协同知识图$\mathcal{G}$，$\mathcal{G}$由user-item交互数据${\mathcal{G}}_1$和知识图${\mathcal{G}}_2$组成

Output：user$u$点击 item$i$的概率${\hat{y}}_{ui}$

高阶连接：利用高阶连接对于执行高质量的推荐是至关重要的。我们将$L$阶连接 ($L$- order connectivtiy) 定义为一个多跳关系路径：
$$e_0\stackrel{r_1}{⟶}{e}_1\stackrel{r_2}{⟶}...\stackrel{r_L}{⟶}{e}_L$$

3.2 Embedding Layer

论文在知识图嵌入方面使用了TransR模型，它的主要思想是不同的实体在不同的关系下有着不同的含义，所以需要将实体投影到特定关系空间中，假如$h$和$t$具有$r$关系，那么它们在$r$关系空间的表示应该接近，否则应该远离，用公式表达则是：
$${\mathbf{e}}_h^r+{\mathbf{e}}_r\approx {\mathbf{e}}_t^r$$
这里${\mathbf{e}}_h,{\mathbf{e}}_t\in {\mathbb{R}}^d$,${\mathbf{e}}_r\in {\mathbb{R}}^k$是$h，t，r$的embedding。

它的得分为：
$$g(h,r,t)=||{\mathbf{W}}_r{\mathbf{e}}_h+{\mathbf{e}}_r-{\mathbf{W}}_r{\mathbf{e}}_t|{|}_2^2$$
其中${\mathbf{W}}_r\in {\mathbb{R}}^{k\times d}$是关系$r$的转换矩阵，将实体从$d$维实体空间投影到$k$维关系空间中。$g(h,r,t)$的值越低，说明该三元组为真的概率越大。

最后，用pairwise ranking loss来衡量效果：
$${\mathcal{L}}_{KG}=\sum _{(h,r,t,t^{{}^{\prime }})\in \tau }-ln\sigma (g(h,r,t^{{}^{\prime }})-g(h,r,t))$$
此式子的意思就是让负样本的值减去正样本的值尽可能的大。负样本的选择就是将$t$随机替换成一个别的。

3.3 Attentive Embedding Propagation Layers

信息传播

考虑实体$h$，我们使用${\mathcal{N}}_h=\{(h,r,t)|(h,r,t)\in \mathcal{G}\}$表示那些以$h$为头实体的三元组。计算$h$的ego-network：
$${\mathbf{e}}_{{\mathcal{N}}_h}=\sum _{(h,r,t)\in {\mathcal{N}}_h}\pi (h,r,t){\mathbf{e}}_t$$
$\pi (h,r,t)$表示在关系$r$下从$t$传到$h$的信息量。

知识感知注意力

信息传播中的权重$\pi (h,r,t)$是通过注意力机制实现的
$$\pi (h,r,t)=({\mathbf{W}}_r{\mathbf{e}}_t{)}^{T}tanh({\mathbf{W}}_r{\mathbf{e}}_h+{\mathbf{e}}_r)$$
这里使用$tanh$作为激活函数可以使得在关系空间中越接近的${\mathbf{e}}_h$和${\mathbf{e}}_t$有更高的注意力分值。采用$softmax$归一化：
$$\pi (h,r,t)=\frac{exp(\pi (h,r,t))}{{\sum }_{(h,r^{{}^{\prime }},t^{{}^{\prime }})\in {\mathcal{N}}_h}exp(\pi (h,r^{{}^{\prime }},t^{{}^{\prime }}))}$$
最终凭借$\pi (h,r,t)$我们可以知道哪些邻居节点应该被给予更多的关注。

信息聚合

最终将$h$在实体空间中的表示${\mathbf{e}}_h$和其ego-network的表示${\mathbf{e}}_{{\mathcal{N}}_h}$聚合起来作为$h$的新表示：
$${\mathbf{e}}_h^{(1)}=f({\mathbf{e}}_h,{\mathbf{e}}_{{\mathcal{N}}_h})$$
$f(\cdot )$有以下几种方式：

1. GCN Aggregator：
   $$f_{GCN}=LeakyReLU(\mathbf{W}({\mathbf{e}}_h+{\mathbf{e}}_{{\mathcal{N}}_h}))$$
2. GraphSage Aggregator：
   $$f_{GraphSage}=LeakyReLU(\mathbf{W}({\mathbf{e}}_h||{\mathbf{e}}_{{\mathcal{N}}_h}))$$
3. Bi-Interaction Aggregator：
   $$f_{Bi-Interaction}=LeakyReLU({\mathbf{W}}_1({\mathbf{e}}_h+{\mathbf{e}}_{{\mathcal{N}}_h}))+LeakyReLU({\mathbf{W}}_2({\mathbf{e}}_h\odot {\mathbf{e}}_{{\mathcal{N}}_h}))$$

高阶传播：

我们可以进一步堆叠更多的传播层来探索高阶连通信息，收集从更高跳邻居传播过来的信息，所以在$l$步中：
$${\mathbf{e}}_h^{(l)}=f({\mathbf{e}}_h^{(l-1)},{\mathbf{e}}_{{\mathcal{N}}_h}^{(l-1)})$$
其中${\mathbf{e}}_{{\mathcal{N}}_h}^{(l-1)}={\sum }_{(h,r,t)\in {\mathcal{N}}_h}\pi (h,r,t){\mathbf{e}}_t^{(l-1)}$，而${\mathbf{e}}_t^{(l-1)}$也是通过上面的步骤从${\mathbf{e}}_t^0$得到的。

3.4 Prediction layer

在执行$L$层后，最终我们会得到用户$u$的多层表示：$\{{\mathbf{e}}_u^{(1)},...,{\mathbf{e}}_u^{(L)}\}$，以及item$i$的多层表示：$\{{\mathbf{e}}_i^{(1)},..,{\mathbf{e}}_i^{(L)}\}$

将其连接起来，即：
$${\mathbf{e}}_u^{\ast }={\mathbf{e}}_u^{(0)}||...||{\mathbf{e}}_u^{(L)},{\mathbf{e}}_i^{\ast }={\mathbf{e}}_i^{(0)}||...||{\mathbf{e}}_i^{(L)}$$
最后通过内积计算相关分数：
$$\hat{y}(u,i)={{\mathbf{e}}_u^{\ast }}^T{\mathbf{e}}_i^{\ast }$$

3.5 损失函数

损失函数使用了BPR loss：
$${\mathcal{L}}_{CF}=\sum _{(u,i,j)\in O}-ln\sigma (\hat{y}(u,i)-\hat{y}(u,j))$$
其中$O=\{(u,i,j)|(u,i)\in {\mathcal{R}}^{+},(u,j)\in {\mathcal{R}}^{-}\}$，${\mathcal{R}}^{+}$表示正样本，${\mathcal{R}}^{-}$表示负样本。

最终：
$${\mathcal{L}}_{KGAT}={\mathcal{L}}_{KG}+{\mathcal{L}}_{CF}+\lambda ||\Theta |{|}_2^2$$