CKE和RippleNet阅读

这两篇文章都是把KGC和推荐任务联合训练的。

CKE

作者提出了一种将协同过滤和知识库相结合的推荐系统。作者设计了三个组件，利用异构网络嵌入和深度学习嵌入方法，分别从知识库中的结构知识、文本知识和视觉知识中自动提取语义表示，然后将协同过滤和知识库嵌入组件结合到一个同意的框架中，共同学习不同的表示。

知识库嵌入向量

对于结构嵌入组件，采用网络嵌入过程(贝叶斯TransR)从结构知识中的异构网络中寻找潜在的表示。

对于文本嵌入组件，采用一种称为贝叶斯堆叠去噪自编码器(Bayesian SDAE)的无监督深度学习模型。输入是加噪的文本，中间那一层的输出作为表征向量，输出是去噪的文本。

对于视觉嵌入组件，应用为贝叶斯堆叠卷积自编码器(Bayesian SCAE)的无监督深度学习模型从视觉知识中寻找潜在表示。输入是加噪的视觉图片，中间那一层的输出作为表征向量(图中Z3)，输出是去噪的图片。

COLLABORATIVE JOINT LEARNING

虑到用户隐式反馈R，考虑项目之间的成对排序作为学习方法。更具体地说，当$R_{ij}=1$时，$R_{i{j}^{{}^{\prime }}}=0$，说用户i比$j^{{}^{\prime }}$更喜欢j，然后用$p(j>j^{{}^{\prime }};i|\theta )$表示成对偏好概率，其中θ表示模型参数。在协同过滤中，使用潜在向量$u_i$作为用户i的表示，使用潜在向量${\eta }_j$作为项目j的表示。为了同时捕获项目在协同过滤中的潜在表示和知识库中的表示，项目潜在向量可以重新表示为

然后偏好概率可以表示为：

将三种知识学习的目标函数与推荐系统中的协同过滤结合，得到如下的联合损失函数：

RippleNet

RippleNet通过自动迭代地沿着知识图中的链接扩展用户的潜在兴趣，从而刺激用户偏好在知识实体集上的传播。因此，由用户历史点击项目激活的多个“涟漪”叠加在一起，形成用户对候选项目的偏好分布，这可以用于预测最终的点击概率。

提出RippleNet用于知识图推荐的端到端框架，将user-item对作为输入，输出用户与物品交互的概率。

Ripple Set

RELEVANT ENTITY：给定交互矩阵Y和知识图G，定义用户u的k-hop相关实体集为:

其中k=0时的实体集，是用户u历史交互的item序列。

**RIPPLE SET：**定义useru的k-hop RIPPLE SET 纹波集$S_u^k$ 为从${\mathcal{E}}_u^{k-1}$开始的知识三元组的集合，以${\mathcal{E}}_u^{k-1}$中的尾实体作为纹波集$S_u^k$ 中三元组的头实体h：

“ripple”一词有两个含义:(1)类似于由多个雨滴产生的真实涟漪，用户对实体的潜在兴趣由他的历史偏好激活，然后沿着KG中的链接逐层传播，从近到远。我们通过图3中所示的同心圆来可视化类比。(2)用户在纹波集中的潜在偏好强度随着跳数k的增加而减弱，这与真实纹波的振幅逐渐衰减相似。图3中逐渐褪色的蓝色表示中心与周围实体之间的相关性正在下降。

对于输入用户u，将其历史交互item序列${\mathcal{V}}_u$作为KG中的种子，然后沿链接扩展形成多个纹波集$S_u^k$ (k = 1,2,…, H)。波纹集$S_u^k$是距离种子集${\mathcal{V}}_u$ k-hop(s)的知识三元组的集合。

偏好传播

每个item v与一个d维的item嵌入v相关联。item嵌入可以根据应用场景，将物品的one-hot ID、属性、bag-of-words或上下文信息结合起来。给定嵌入item v和用户u的1跳纹波集$S_u^1$，为$S_u^1$中的每个三元组(hi, ri, ti)分配一个相关概率:

关联概率pi可以看作是项目v与实体hi在关系Ri空间中的相似度。注意，在计算项目v和实体hi的相关性时，有必要考虑嵌入矩阵Ri，因为item-entity对通过不同的关系度量时可能具有不同的相似度。
在得到纹波集中每一个三元组的的相关概率后，将概率作为权重，计算尾实体嵌入的加权和：

进行偏好传播，得到多个聚合向量后，将这些向量求和，得到u的嵌入向量：

之后预测用户u和item v交互的概率：