微软提出基于知识图谱的深度神经网络DKN用于新闻推荐

DKN: Deep Knowledge-Aware Network for News Recommendation

Hongwei Wang, Fuzheng Zhang, Xing Xie, Minyi Guo

Shanghai Jiao Tong University, Microsoft Research Asia

http://cn.arxiv.org/pdf/1801.08284v2

在线新闻推荐系统旨在解决新闻的信息爆炸问题,并且给用户推荐个性化的新闻。一般而言,新闻语言高度精简,充满知识实体和常识。

但是,现有方法无法感知这种外界知识,无法完全发现新闻之间潜在的知识层面的联系。这就会造成给用户推荐的新闻局限于简单的模式,无法合理扩展。

为了解决上述问题,这篇文章提出一种深度知识感知网络,DKN,将知识图表示融入到新闻推荐中。DKN是一种基于内容的用于点击率预估的深度推荐框架。DKN的主要部分是一个多通道、单词实体对齐的知识感知卷积神经网络,KCNN,其中融入了新闻在语意层面和知识层面的表示。KCNN将单词和实体作为多通道,在卷积过程中明确保留他们之间的对齐关系。

为了解决用户兴趣多样性,作者们设计了一种注意力模块,用于自适应聚合用户对当前候选新闻的历史行为。在真实在线新闻平台上的大量实验表明,DKN的效果优于STOA深度推荐模型。

现有方法具有一定的缺陷,比如

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第1张图片

新闻关联图示如下

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第2张图片

知识图嵌入的基础及简介如下

几种转换方法及目标函数简介如下

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第3张图片

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第4张图片

卷积神经网络用于句子表示的简介如下

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第5张图片

对应的图示如下

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第6张图片

问题描述如下

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第7张图片

DKN整体框架图示如下

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第8张图片

基于知识图谱的知识蒸馏图示如下

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第9张图片

实体的上下文定义如下

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第10张图片

知识图谱中实体的上下文图示如下

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第11张图片

下面是知识感知的卷积神经网络介绍

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第12张图片

这种方法具有一定的局限性,比如

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第13张图片

为了缓解以上局限性,作者们提出了多通道单词实体对齐卷积神经网络,KCNN,简介如下

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第14张图片

后续操作还有一些max-over-time pooling和变化的窗口大小。

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第15张图片

利用注意力网络提取用户兴趣的方法简介如下

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第16张图片

数据集信息描述如下

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第17张图片

统计信息描述如下

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第18张图片

详细分布如下

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第19张图片

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第20张图片

参与对比的方法有以下几种

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第21张图片

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第22张图片

实验参数设置如下

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第23张图片

几种模型效果对比如下

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第24张图片

结果显示,DKN效果比较稳定

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第25张图片

DKN及其变体效果对比如下

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第26张图片

一个用户的数据示例如下

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第27张图片

注意力可视化图示如下

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第28张图片

参数设置对模型效果影响如下

微软提出基于知识图谱的深度神经网络DKN用于新闻推荐_第29张图片


              我是分割线


您可能感兴趣

ADKDD2017|深度交叉网络DCN在广告点击预估中的应用

WWW2018|FwFM加权域分解机在CTR预估中的应用

WSDM2020|InterHAt分层注意力可解释CTR预估(已开源)

CIKM2019|Fi-GNN图神经网络学习特征交互在CTR预估中的应用(已开源)

CIKM2019|AutoInt自注意力神经网络自动学习特征交互(已开源)

WSDM2019|近似解耦随机游走RecWalk在top-N推荐中的应用(已开源)

CIKM2013|深层结构语意模型DSSM在web搜索中的应用

WSDM2019|社交注意力记忆网络在推荐系统中的应用(已开源)

SIGIR2020|基于序贯行为的高效迁移学习在用户建模及推荐中的应用(已开源)

WSDM2019|门限注意力自编码在内容感知推荐中的应用(已开源)

WWW2019|对偶图注意力网络在推荐系统中的应用(已开源)

KDD2019|个性化注意力在新闻推荐中的应用

SIGIR2020|序贯元学习方法在重新训练推荐系统中的应用(已开源)

WSDM2019|动态图注意力网络在基于会话的社交推荐中的应用

IJCAI2017|基于注意力机制的FM模型AFM在学习特征交互权重中的应用(已开源)

KDD2020|自动特征交互选择(AutoFIS)分解机模型在CTR预估中的应用(已开源)

SIGIR2020|LightGCN图卷积网络在推荐系统中的应用(已开源)

WWW2019|图神经网络在社交推荐中的应用

AAAI2019|自注意力度量学习在下一个商品推荐中的应用

WWW2020|基于隐含意图的注意力序列模型在下一个商品推荐中的应用

WWW2015|深度学习在推荐系统跨域用户建模中的应用

ICDE2020|多图卷积网络在草药推荐中的应用

ATM|注意力转移模型在预测下一个商品中的应用

IJCAI2019|深层自注意力网络在序列推荐中的应用

AAAI2020|深度学习在表格分析中的应用

NIPS论文系列|复数域RNN,深层生成模型,DRL在MDP中的应用(已开源)

AAAI2020|结合时空信息的分层注意力网络在大规模社交网络中的应用

ICDE2020|基于深度学习的关系抽取

只有正样本和无标签样本时如何构建分类器

ICDE2020|图卷积网络在价格感知推荐中的应用

WSDM2020|基于强化学习的多轮对话推荐系统(EAR, 即将开源)

WWW2020|如何利用未来数据协助训练基于会话的推荐(GRec)

ICML2018|基于自注意力的序列推荐模型SASRec(已开源)

IJCAI2018|分层时空LSTM在位置预测中的应用(HST-LSTM)

IJCAI2019|基于会话和注意力机制的CTR预估模型DSIN(已开源)

你可能感兴趣的:(神经网络,python,深度学习,机器学习,人工智能)