DKN: Deep Knowledge-Aware Network for News Recommendation
Hongwei Wang, Fuzheng Zhang, Xing Xie, Minyi Guo
Shanghai Jiao Tong University, Microsoft Research Asia
http://cn.arxiv.org/pdf/1801.08284v2
在线新闻推荐系统旨在解决新闻的信息爆炸问题,并且给用户推荐个性化的新闻。一般而言,新闻语言高度精简,充满知识实体和常识。
但是,现有方法无法感知这种外界知识,无法完全发现新闻之间潜在的知识层面的联系。这就会造成给用户推荐的新闻局限于简单的模式,无法合理扩展。
为了解决上述问题,这篇文章提出一种深度知识感知网络,DKN,将知识图表示融入到新闻推荐中。DKN是一种基于内容的用于点击率预估的深度推荐框架。DKN的主要部分是一个多通道、单词实体对齐的知识感知卷积神经网络,KCNN,其中融入了新闻在语意层面和知识层面的表示。KCNN将单词和实体作为多通道,在卷积过程中明确保留他们之间的对齐关系。
为了解决用户兴趣多样性,作者们设计了一种注意力模块,用于自适应聚合用户对当前候选新闻的历史行为。在真实在线新闻平台上的大量实验表明,DKN的效果优于STOA深度推荐模型。
现有方法具有一定的缺陷,比如
新闻关联图示如下
知识图嵌入的基础及简介如下
几种转换方法及目标函数简介如下
卷积神经网络用于句子表示的简介如下
对应的图示如下
问题描述如下
DKN整体框架图示如下
基于知识图谱的知识蒸馏图示如下
实体的上下文定义如下
知识图谱中实体的上下文图示如下
下面是知识感知的卷积神经网络介绍
这种方法具有一定的局限性,比如
为了缓解以上局限性,作者们提出了多通道单词实体对齐卷积神经网络,KCNN,简介如下
后续操作还有一些max-over-time pooling和变化的窗口大小。
利用注意力网络提取用户兴趣的方法简介如下
数据集信息描述如下
统计信息描述如下
详细分布如下
参与对比的方法有以下几种
实验参数设置如下
几种模型效果对比如下
结果显示,DKN效果比较稳定
DKN及其变体效果对比如下
一个用户的数据示例如下
注意力可视化图示如下
参数设置对模型效果影响如下
您可能感兴趣
ADKDD2017|深度交叉网络DCN在广告点击预估中的应用
WWW2018|FwFM加权域分解机在CTR预估中的应用
WSDM2020|InterHAt分层注意力可解释CTR预估(已开源)
CIKM2019|Fi-GNN图神经网络学习特征交互在CTR预估中的应用(已开源)
CIKM2019|AutoInt自注意力神经网络自动学习特征交互(已开源)
WSDM2019|近似解耦随机游走RecWalk在top-N推荐中的应用(已开源)
CIKM2013|深层结构语意模型DSSM在web搜索中的应用
WSDM2019|社交注意力记忆网络在推荐系统中的应用(已开源)
SIGIR2020|基于序贯行为的高效迁移学习在用户建模及推荐中的应用(已开源)
WSDM2019|门限注意力自编码在内容感知推荐中的应用(已开源)
WWW2019|对偶图注意力网络在推荐系统中的应用(已开源)
KDD2019|个性化注意力在新闻推荐中的应用
SIGIR2020|序贯元学习方法在重新训练推荐系统中的应用(已开源)
WSDM2019|动态图注意力网络在基于会话的社交推荐中的应用
IJCAI2017|基于注意力机制的FM模型AFM在学习特征交互权重中的应用(已开源)
KDD2020|自动特征交互选择(AutoFIS)分解机模型在CTR预估中的应用(已开源)
SIGIR2020|LightGCN图卷积网络在推荐系统中的应用(已开源)
WWW2019|图神经网络在社交推荐中的应用
AAAI2019|自注意力度量学习在下一个商品推荐中的应用
WWW2020|基于隐含意图的注意力序列模型在下一个商品推荐中的应用
WWW2015|深度学习在推荐系统跨域用户建模中的应用
ICDE2020|多图卷积网络在草药推荐中的应用
ATM|注意力转移模型在预测下一个商品中的应用
IJCAI2019|深层自注意力网络在序列推荐中的应用
AAAI2020|深度学习在表格分析中的应用
NIPS论文系列|复数域RNN,深层生成模型,DRL在MDP中的应用(已开源)
AAAI2020|结合时空信息的分层注意力网络在大规模社交网络中的应用
ICDE2020|基于深度学习的关系抽取
只有正样本和无标签样本时如何构建分类器
ICDE2020|图卷积网络在价格感知推荐中的应用
WSDM2020|基于强化学习的多轮对话推荐系统(EAR, 即将开源)
WWW2020|如何利用未来数据协助训练基于会话的推荐(GRec)
ICML2018|基于自注意力的序列推荐模型SASRec(已开源)
IJCAI2018|分层时空LSTM在位置预测中的应用(HST-LSTM)
IJCAI2019|基于会话和注意力机制的CTR预估模型DSIN(已开源)