[论文阅读笔记17]A Survey on Knowledge Graph-Based Recommender Systems

一，题目

TKDE 2020
A Survey on Knowledge Graph-Based Recommender Systems
综述：基于知识图谱的推荐系统
In IEEE Transactions on Knowledge and Data Engineering (IEEE TKDE), 2020
doi: 10.1109/TKDE.2020.3028705.

二，作者

Qingyu Guo, Fuzhen Zhuang, Chuan Qin, Hengshu Zhu, Xing Xie, Hui Xiong, Qing He
中科院计算所、百度、港科大、中科大、微软

三，摘要

两个方面总结了基于知识图谱的推荐系统：把KG的使用的归成了三类（嵌入，路径，uniied方法）；数据集（7种数据情况）；

四，简介

4.1 基于图的推荐系统是怎样的？怎么推荐？可以解释不？

推荐的核心方法：协同过滤，内容推荐，混合；
问题：用户和物品之间的行为关系数据的稀疏问题；对新用户或者新物品的冷启动问题。

引入图，实体为节点，实体关系为边。items与items的属性关关系，用户与用户相关信息，item与用户的关系等等，都映射到知识图谱中。

如下图，知识图谱可以包含所有可以列得出来信息，形成一个抽像的图，用户与电影也有了显性与隐性的相关关系了，这个就可以达到精准推荐的效果；

同时，也是可以对这个推荐作了解释。

4.4 文章的内容

1.基于图的推荐的三大类方法
a. embedding-based method；
b. path-based method;
c. unifified method;
2. 推荐的可解释性
3. 数据集的分类

五，相关概念

5.1 知识图谱

节点，关系形成图；三元组描述。

常用的知识图谱（分为两类：Cross-Domain与Biological Domain）：

5.2 推荐系统

基于协同过滤的推荐算法

利用用户和物品历史的反馈数据, 挖掘用户和物品本身的相关联性, 并基于此进行推荐。

方法1：基于用户的推荐

​ 假设 “用户可能喜欢与他相似用户喜欢的物品”。

方法2：基于物品的推荐

​ 与内容推荐的区别：这里是使用物品历史被反馈的数据来判断物品之间相似性；

方法3：基于模型的推荐

​ 解决用户与item之间的稀疏问题。

基于内容的推荐算法

基于内容的推荐算法源于一个基本假设: “用户可能会喜欢与他曾经喜欢过的物品相似的物品”, 其通过建模计算用户曾经有过的显示反馈 (打分、点赞等) 和隐式反馈 (搜索、点击、购买等) 的物品集合与所有物品的相似度, 按照相似度的大小排序到推荐的列表.

优点:解决新物品冷启动; 不受R的稀疏性所影响;有解释性；

缺点：复杂的特征工程；缺乏多样性；

混合推荐算法

六 记号与概念

Heterogeneous Information Network(HIN).：异构信息网络 —包含多类节点和多类连接关系。

Knowledge Graph (KG)：有向图。节点是边，边是主谓宾三元组。这里把KG看成是HIN的实例。

Meta-path：Meta Path 是2011年 Yizhou Sun etc. 论文【5】, 针对异质网络中的相似性搜索。Meta-path是一条包含relation序列的路径，而这些 relation 定义在不同类型object之间。
参考【6】，在异构图中，推荐问题转化为寻找user和item的连接路径，两个entity的连接路径会有不同类型的entity 和不同类型的relation；

其中蓝色线代表

红色线代表

Meta-graph: 元图是不同元路径的组合。

Knowledge Graph Embedding (KGE)：把知识图谱嵌入去低维空间中。节点，关系都会表示成一个向量；

User Feedback：用户反馈矩阵。

H**-hop Neighbor.**：

e_0的H-hop Neighbor是e_H.

Relevant Entity:相关实体

User Ripple Set：用户水波/涟漪集合；

先理解一下 Ripple（水波/涟漪）【7】:

借鉴水波(Ripple)的传播，以user感兴趣的items为种子（seed），在商品知识图谱上,用seed items向外一圈一圈的扩散到其他的items上，这个过程称之为偏好传播(Preference Propagation)。该模型认为外层的items同样属于用户潜在的偏好，因此在刻画user的时候，需要将其考虑进去，而不能仅仅使用观测到的items去表示user偏好。

Entity Ripple Set:实体涟漪集合

七，基于知识图谱的推荐系统方法

7.1 embedding-based methods – 基于嵌入的方法

知识图谱的学习表示学习，直接把KG编码成低秩嵌入，即是用向量来表知识图谱中的节点也关系，这里分为两类：

类1：translation distance models：TransE [99], TransH [100],TransR [101], TransD [102]；

类2：semantic matching models：DistMult [103]

另外，根据KG是否包含users来分类,可以分为两类:

第一类（item graph），KGs只使用items数据与它相关属性来构建，这个目的用item graph来进行学习，输出item的向量表示。

名称	论文	描述	模型思想
CKE	Collaborative Knowledge Base Embedding for Recommender Systems	提出基于知识图谱的embedding来刻画物品的显式信息，这种是从图结构中学到的关联，能够比较充分地学习到物品的表达，把结构化的物品信息给加进去了。【9】
DKN	Dkn: Deep knowledgeaware network for news recommendation	它在建模型新闻信息表示时，把通过KimCNN[104]模型学习的句子文本嵌入与通过TranD[104]模型对KG的实体学习的嵌入想结合起来。
KSR	Improving sequential recommendation with knowledge-enhanced memory networks	作者提出一个带有KEY-VALUE记忆网络的RNN模型架构。其中RNN模型用于捕捉序列化的用户偏好，而键值对记忆网络用于捕捉商品属性级的用户偏好，这两个vector组合在一起作为最终的用户偏好表示。【10】

第二类（ user-item graph），users,items，这些相关属性构成graph的节点。属性层关系与用户关系看成是图的边。

名称	论文	描述	模型思想
CFKG	2018-Learning over knowledge-base embeddings for recommendation	构建了一个user-item KG；用户行为被看成一种关系类型；多种item辅助信息一起被包括入其中。例如review,brand,category,bought-together等。为了学习实体与关系的嵌入向量，根据给定的关系，模型定义一个度量函数d(.)去度量两个实体之间的矩离。
SHINE	2018-Shine: Signed heterogeneous information network embedding for sentiment link prediction	把名人推荐系统看成是图中实体之间的情感连接预测任务。对于用户与目标，建立情感网络Gs（微博文本中对情感抽取出来的网络），使用它们的社交网络Gr（微博用户的关注关系网络）与简介网络Gp作为辅助信息。利用这三个网络进行嵌入，组合成用户与目标的表达。最后的推荐分数是一个深度网络去实现的。
DKFM	2019-Location embeddings for next trip recommendation	针对POI推荐而提出来的。使用TransE训练城市数据去丰富目的地表达，提升了相关性能。

上面都是直接使用已学习结构知识原始的隐向量，最近提出了提练实体、关系表达的推荐。

名称	论文	描述	模型思想
KTGAN	2018-A knowledge-enhanced deep recommendation framework incorporating gan-based models	引入基于GAN的模型。模型分两个阶段。首先，结合Metapath2Vec进行学习KG嵌入与结合Word2Vec学习标注嵌入；然后，生成器G与判别器D用来提炼最初的用户与items的表达。
BEM	2019 Bayes embedding (bem): Refining representation by integrating knowledge graphs and behavior-specific networks	对用户使用两种图：知识相关图与行为图。首先采用TransE与GCC模型来对两种进行学习表达，然后采用Byes框架去refine最初的表达。

多任务

名称	论文	描述	模型思想
KTUP	2019-Unifying knowledge graph learning and recommendation: Towards a better understanding of user preferences	是利用联合嵌入的方法，利用kg中的facts作为辅助信息；基于user-item的模拟，填补kg中facts的缺失。【12】
MKR	2019-Multitask feature learning for knowledge graph enhanced recommendation	推荐模型与KGE模型所组成。 前者学习users与Items的隐表达；后者使用情感网络去学习item相关的实体。【13】
RCF	2019-Relational collaborative fifiltering: Modeling multiple item relations for recommendation	items分层描述，包括关系类型及关系值的嵌入。使用DistMult模型去对items之间关系进行表达，然后使用关注力模型分别对user的类型级与user值级进行建模。最后，联合训练推荐模块与KG关系模块。

总结：对于嵌入表达中，大部分都会加入一些用户辅助信息进来，有些嵌入表达直接在原图谱表达，有些还要经过第二步的提炼；有些联合多任务来训练。

7.2 path-based methods—基于路径方法

基于路径的方法构建用户项图，并利用图中实体的连接模式进行推荐.从2013年开始就开始使用了，传统papers称这种方法是HIN图中的推荐 。

核心思想：利用users或items连接的相似性去提升推荐。

所以定义了PathSim来衡量路径的相似性：

一种基于路径的方法是利用在不同元路径上实体语义相似作为规范去定义HIN图中的user与items的表达。

User-User Similarity：

Item-Item Similarity：

User-Item Similarity：

名称	论文	描述
Hete-MF	2013-Collaborative filtering with entity similarity regularization in heterogeneous information networks	抽取L条不同元路径并对每种路径计算item-item相似度。将item-item正则化与加权非负矩阵因式分解方法相结合，从而细化用户和项目的低秩表示，以便更好地推荐。
Hete-CF	2014-Hete-cf: Social-based collaborative fifiltering recommendation using heterogeneous relations	Hete-CF扩展了Hete-MF,加入user-user，item-item，user-item相似，最后比Hete-MF有更好的效果。
HeteRec	2013-Recommendation in heterogeneous information networks with implicit user feedback	利用元路径相似性来丰富用户-项目交互矩阵R，从而可以提取更全面的用户和项目表示。
HeteRec-p	2014-Personalized entity recommendation: A heterogeneous information network approach	进一步考虑了不同元路径的重要性，对于不同的用户来说应该是不同的。Hete Rec-p首先将用户根据过去的行为分为c个类，并利用聚类信息生成个性化推荐，而不是应用全局偏好模型。
FMG	2017-Meta-graph based recommendation fusion over heterogeneous information networks	使用元图来代替元路径。
SemRec	2015-Semantic path based personalized recommendation on weighted heterogeneous information networks	考虑用户喜欢和讨厌的过去items的交互。
RuleRec	2019-Jointly learning explainable rules for recommendation with knowledge graph	通过应用外部KG的相关性去学学习item之间的关系。通过两个模块：规则学习模块与item推荐模块。
MCRec	2018-Leveraging meta-path based context for top-n recommendation with a neural co-attention model	学习meta-paths显式表达去描述user-item对的互动上下文
RKGE	2018-Recurrent knowledge graph embedding for effective recommendation	在没有手工定义元路径的情况下自动挖掘u_i与v_j之间的路径关系
KPRN	2019-Explainable reasoning over knowledge graphs for recommendation	使用实体与关系嵌入来构建抽象的路径时序。
EIUM	2019-Explainable interaction-driven user modeling over knowledge graph for sequential recommendation	对于时序推荐，它EIUM捕捉用户的动态的关注点
PGPR	2019-Reinforcement knowledge graph reasoning for explainable recommendation	使用强化学习去搜索合理的user-item对的路径。
EKar	2019-Explainable knowledge graph-based recommendation via deep reinforcement learning	使用强化学习去生成推荐序列

7.3 unified methods – 统一方法

名称	论文	描述
RippleNet	2018-Ripplenet: Propagating user preferences on the knowledge graph for recommender systems	为了解决基于embedding和基于路径的方法的限制，第一个引入偏好传播概念的相关工作。利用用户的点击记录，不断外扩发现用户的可能兴趣点。
AKUPM	2019-Akupm: Attention enhanced knowledge-aware user preference model for recommendation	使用用户的点击历史来进行建模。AKUPM应用TransR对实体进行学习表示。在每个传播过程中，AKUPM使用自关注层来学习实体之间的关系，并传播用户对具有偏见的不同实体的偏好；最后，用自注意机制对交互项的不同阶邻居的嵌入进行聚合，得到最终的用户表示。
RCoLM	2019-Unifying taskoriented knowledge graph learning and recommendation	这个方法是AKUPM的延伸，它联合训练KG的补全模块与推荐两个模块，在这里AKUPM作为backbone.
KGCN	2019-Knowledge graph convolutional networks for recommender systems	首先采样侯选的邻居
KGAT	2019-Kgat: Knowledge graph attention network for recommendation	提出了一种基于知识图谱和注意力机制的新方法-KGAT。通过user和item之间的属性将user-item实例链接在一起，摒弃user-item之间相互独立的假设。将user-item和知识图谱融合在一起形成一种新的网络结构，并从该网络结构中抽取高阶链接路径用来表达网络中的节点。【14】
KGCN-LS	2019-Knowledge-aware graph neural networks with label smoothness regularization for recommender systems
KNI	2019-An end-to-end neighborhood-based interaction model forknowledge-enhanced recommendation
IntentGC	2019-Intentgc: a scalable graph convolution framework fusing heterogeneous information for recommendation	阿里巴巴发表在KDD2019的论文，融合了异构信息网络中的许多辅助信息进行推荐。
AKGE	2019-Attentive knowledge graph embedding for personalized recommendation

八, 数据集

第一步，数据集的分类；第二步，考查数据集可以应用于哪些任务。

九, 未来方向

a1. Dynamic Recommendation–动态推荐
a2. Multi-task Learning–多任务学习
a3. Cross-Domain Recommendation–跨领域推荐
a4. Knowledge Enhanced Language Representation–知识提升语言表达
a5. Knowledge Graph Embedding Method–知识图谱嵌入方法
a6. User Side Information–用户辅助信息

十， 总结

比较充实的一篇综述，过程学习到很多新的知识。

在开始这篇文章之前，对于推荐的认识还是停留在很久以前的CF，FM，FFM，SVM， GBDT+LR等一些方法。而对于神经网络的使用，也只是了解了一些Wide&Deep, 基于交叉特征的方法例如内积或外积来进行特征的交叉。这里讲述的是KG在推荐的使用，可谓是一股思维上的清流，从头流到了脚。

刚开始的时候，只是怀着看一下KG怎么用起来， 想从这里借鉴一些使用的思想去使用一下KG。启发出基于GCN，基于规则，基于关注力，表达学习都是可以把KG使用起来。基于这些启发，是否可以把这个思想移到NLP任务中呢？

参考：

【1】研究综述 - TKDE2020 | 基于知识图谱的推荐系统， https://mp.weixin.qq.com/s/d3rytwQ5Yta_hTGxtqXmvQ
【2】论文下载地址：https://ieeexplore.ieee.org/document/9216015
【3】基于知识图谱的推荐系统研究综述，http://scis.scichina.com/cn/2020/SSI-2019-0274.pdf

【4】异构信息网络 Heterogeneous information network (HIN)，https://blog.csdn.net/u011748542/article/details/87897480

【5】Han J . Mining Heterogeneous Information Networks: Principles and Methodologies[J]. Acm Sigkdd Explorations Newsletter.

【6】基于图谱meta path的推荐（part1），https://zhuanlan.zhihu.com/p/104095251

【7】知识图谱与推荐系统联合学习之RippleNet：论文及代码讲解，https://zhuanlan.zhihu.com/p/73716930?utm_source=wechat_timeline

【8】DKN: Deep Knowledge-Aware Network for News Recommendation简析，https://blog.csdn.net/qq_35564813/article/details/90347832

【9】论文阅读：Collaborative Knowledge Base Embedding for Recommender Systems，https://blog.csdn.net/ch_609583349/article/details/102754482

【10】论文笔记：Improving Sequential Recommendation with Knowledge-Enhanced Memory Networks，https://www.jianshu.com/p/e08839e7b4c3

【11】情感预测SHINE: Signed Heterogeneous Information Network Embedding for Sentiment Link Prediction引介，https://zhuanlan.zhihu.com/p/34437681?utm_source=wechat_session&utm_medium=social&from=singlemessage#showWechatShareTip

【12】统一知识图学习和推荐:更好地理解用户偏好Unifying Knowledge Graph Learning and Recommendation，https://blog.csdn.net/tong987735780/article/details/91411254

【13】知识图谱与推荐系统之《Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation》MKR，https://blog.csdn.net/qq_40006058/article/details/89977929

【14】KGAT : Knowledge Graph Attention Network for Recommendation 用于推荐的知识图注意力网络 KDD2019, https://blog.csdn.net/u013602059/article/details/105050801/

【15】斯坦福大学博士后王鸿伟: 知识图谱辅助的个性化推荐系统，https://www.ofweek.com/ai/2020-03/ART-201700-8300-30431204.html

**made by happyprince.**https://blog.csdn.net/ld326/article/details/113868889