新闻推荐(7)：Graph Neural News Recommendation with Unsupervised Preference Disentanglement

前言

• 发表在ACLI2020上的一篇关于新闻推荐的论文

• 是来自于微软亚研和北邮石川团队的合作工作，团队新闻推荐相关工作详见如下博客链接：https://www.jianshu.com/p/98571afbd36d
  https://www.jianshu.com/p/ee9beaa9efee
  https://www.jianshu.com/p/c490598259c8
  https://www.jianshu.com/p/2d7e261bc277https://www.jianshu.com/p/51a01e4c3d3a

• 本文为自己的论文阅读笔记，如有错误/问题欢迎评论区指正，转载请注明链接及作者

摘要

现有的新闻推荐方法大多是从新闻内容中学习用户和新闻的表现形式来进行推荐。然而，他们很少考虑隐藏在用户-新闻交互之下的高阶关联。此外，现有的方法未对导致用户点击不同新闻的潜在偏好因素进行分解， 本文将用户与新闻的交互建模为二部图，提出了一种新的无监督偏好分解图神经网络新闻推荐模型(GNUD).

该模型通过信息沿图的传播，将高阶关系编码到用户和新闻表示中。此外，通过邻域路由算法对用户/新闻表征进行潜在偏好分解，增强了模型表达性和解释性。还设计了一个偏好正则器，使得每个分解空间能够独立地反映一个孤立的偏好，提高分解表示的质量。

引言

当前基于深度学习的方法往往只关注新闻内容，很少考虑到用户与新闻交互中以高阶连接的形式存在的协同信息。

捕获用户和新闻之间的高阶关联可以深入挖掘结构特征，缓解稀疏性，从而提高推荐性能。借助用户-新闻二部图可以发现一些协同关联，如上图所示。

此外，用户往往处于不同的喜好点击不同的新闻。现实世界中的用户与新闻的交互来自于高度复杂的潜在偏好因素。例如小明可能因为她对娱乐新闻的感兴趣所以点了吴亦凡的新闻，而因为她对政治感兴趣，所以点了关于时政的新闻。

在沿图聚合邻域信息时，应考虑邻居节点在不同潜在偏好下的不同重要性。揭示和解析这些潜在偏好因素的学习表征可以带来更强的表达性和可解释性，然而这在很大程度上仍然是现有的新闻推荐研究没有做过的。

但通用推荐已经出现了类似的研究，可以拜读何向南SIGIR2020的DGCF，跟本文很相似

模型

主要使用的信息： 新闻标题和新闻标题的实体及相应的实体类别

新闻内容表征
通过两个卷积网络分别处理标题文本和相关实体信息，得到新闻表征向量：

GNUD框架

将用户-物品的历史交互表示二部图，结构比较简单，可以分为两个关键组件：进行偏好分解的图卷积和偏好正则化，如上图所示

1. Graph Convolution Layer with Preference Disentanglement

我们定义对于一个用户节点u经过邻居节点聚合后的表示为：

其中的

分别表示用户和新闻的嵌入。

考虑到用户的点击行为可能是由不同的潜在偏好因素引起的，文章提出了一个卷积层，使得得到的用户/新闻输出 yu 和 yd 是分解形式的表示。每个分离的向量都反映了一个与用户或新闻相关的偏好因素。

对于每个用户/物品都构建了K个偏好因素。

下面以用户为例，分析如何进行相关的计算。给定用户节点u，和相邻的新闻节点 可以使用一个投影变换将原来的节点特征向量转换到某个子空间中，这个子空间可以是某个隐含偏好的空间：

Neighborhood routing algorithm.近邻路由算法
为了多个角度建模用户/新闻，在建模的时候应该只使用受当前偏好因素影响的新闻，而非考虑所有相关新闻。因此，文中提出了一个近邻路由算法来找到受不同偏好影响的近邻新闻。

这个偏好是无监督信号，是模型自己要去学习的

完整的算法流程如下

其中

衡量当前新闻d和用户u在第k个偏好上的匹配程度，即用户点击新闻是处于k偏好影响的概率。

而用户每个分解表征都需要跟周围的新闻做整合如上式所示。最后将K个分解偏好合并起来表示用户偏好

2.Preference Regularizer 偏好正则化

本质上讲，我们希望每个分解子空间能够互不依赖、反映相对独立的偏好因素；作者提出使用最大化衡量两个变量的依赖性的互信息来对分解表征进行约束。

具体而言，使用了下面的形式来反映空间的概率分布

相应的正则项可以表示为：

在前面提到的何向南DGCF中使用的是距离系数，目的都是一样：让不同的空间尽可能的分开/分解

最后所用的目标函数表示如下

值得注意的是，对于新物品而言，可以视为图中的孤立点，其表示可以通过单纯的内容特征表示，也可以通过前面提到的分解方式跟不同的隐含偏好做计算。

实验

论文还做了一个示例分析，分析分解后的新闻关联情况，从结果上看是符合用户阅读特点的

总结

这篇工作是主流研究方向的体现：图模型+偏好分解，设计的路由算法也比较合理；从模型结构上与DGCF有异曲同工之妙。同时在可解释性方面还有进一步挖掘的空间，在特征建模方面还可以尝试其他方式。

END

本人所有文章均为原创，欢迎转载，请注明文章出处 。百度和CSDN等站皆不可信，搜索请谨慎鉴别。技术类文章一般都有时效性，本人习惯不定期对自己的笔记/博文进行更新，因此请访问本人主页查看最新信息https://www.jianshu.com/u/40d14973d97c