【Is News Recommendation a Sequential Recommendation Task?(论文详解)】

Is News Recommendation a Sequential Recommendation Task?(论文详解)

一 简介：（该文章是发表于SIGIR’22上的一篇短刊，主要内容为序列推荐和新闻推荐）

这篇文章主要分为两个部分，第一部分作者首先研究是否可以将新闻推荐视为标准的序列推荐问题，通过对两个真实数据集实验，作者发现将新闻推荐建模为序列推荐问题并不是最理想的。
第二部分就是为了应对这一挑战，作者进一步提出了一种时间多样性感知 (temporal diversity-aware)新闻推荐方法，名为 TempRec，它可以考虑新闻推荐的时间多样性性质，从而做出更准确的推荐结果。

二 主要内容

1 传统新闻推荐框架介绍

首先介绍了传统的新闻模型，假设用户有N个历史点击新闻序列【D１－Dn】，候选点击新闻序列表示为Dc，首先通过新闻编码器进行编码获取了新闻特征r。再将r通过在不同的序列模型中训练，历史点击序列得到了一个用户兴趣的嵌入u,最后由u和候选新闻编码rc的内积计算出最后的点击分数y，如下图１

新闻编码器News Encoder的介绍:(以下介绍为图片)

2 框架中所采用的三种序列模型介绍

根据上图的框架中采用了三种序列推荐模型进行实验分别是：第一种是LSTUR（Neural News Recommendation with Long- and Short-term User Representations具有长期和短期用户表示的神经新闻推荐），在该模型中使用了GRU 为短期用户兴趣建模，使用户ID嵌入作为长期用户兴趣建模；第二种是DAN模型，它联合了LSTM和self-attention网络去给用户的兴趣建模；第三种是NRMS（Neural News Recommendation with Multi-Head Self-Attention多头部自我注意的神经新闻推荐），它使用了许多head self attention去给用户兴趣建模，相对于原始的NRNS本论文中还实验加入了位置信息嵌入或任意self-attention 掩码的NRMS两个顺序感知变体。如下图5

3 数据集介绍如下图6

在实验中使用了Glove对词嵌入进行了初始化，所有模型的隐藏维度为400，用Adam作为优化器。使用AUC、MRR、nDCG@5、nDCG@10作为性能指标，以上实验结果都是五次独立实验的平均数据。(运用了负采样技术来构造训练样本，交叉熵作为损失函数)
对每组方法对反转点击新闻序列和任意打乱点击新闻序列的两个对照实验。如下图8

结果：1.对于NRMS模型加入位置信息后没有使得模型效果变好，并且self attention掩码之后网络相比原本网络效果更坏了，这表明位置信息对于新闻推荐兴趣不是很重要。2：逆向序列和正向序列并没有导致明显的性能差异。这也表明了最近点击的新闻序列并不比早期点击的新闻序列在预测未来点击序列中有更多的信息量。3：随机打乱的点击新闻序列会稍微提高模型的性能，可能是因为序列打乱后模型更好的捕捉用户全局的兴趣，以此提高预测的准确度。
综上所述：新闻序列不适合建模成一个序列推荐模型，因为顺序信息和短期依赖性没有在新闻推荐中发挥重要作用。

4 提出新框架

为了解决这一问题，作者提出了一种名为TempRec的新框架，首先该模型中有两个与序列无关的transformer，左边的是处理点击的新闻序列，用来捕捉用户全局兴趣；右边的是处理最近K个点击新闻序列，用来捕获最近用户兴趣。我们将他们学习到的隐藏新闻表示序列表示为h1-hn,h’(n-k+1)-h’n。之后通过两个attention 网络在从h中得到全局兴趣嵌入ug，从h’中学习得到最近的兴趣ur。最后计算出一个全局相关分数yg,由全局兴趣嵌入ug和候选新闻序列rc之间的相关性计算得出（yg=ug.rc），这表明了候选的新闻是否满足匹配全局的兴趣。此外，还计算了一个最近相关性分数yr，yr=ur.rc，由最近兴趣嵌入和候选新闻序列相关性计算得出。，这表明了候选新闻序列与最近点击的序列之间的相关性。最后由两个分数的线性组合得到点击新闻的评分y，（y=yg-max(w,0).yr，w是一个可学习的参数）。该模型鼓励推荐与最近点击新闻序列不同的新闻，可以满足用户对时间多样性感知的需求。如下图9

实验：
在TempRec框架中，我们继续使用相同模型（LSTUR、DAN、NRMS）和编码器，（mind上w=0.05,News上w=0.083）实验数据如图三，而且进一步的T检验所示（p<0.05）。这些结果显示，该模型更有助于未来点击的预测。显然这表明最近点击序列和未来点击序列呈负相关。最后，对于最近点击序列个数K的影响，也做了相对应的实验，如图所示，当K=3时，得到最好的实验数据。如下图10和图11

5总结:

在本文中，我们研究了一个有趣而重要的问题，即新闻推荐是否适合被建模为序列推荐。通过在两个真实世界的数据集上的广泛实验﹐我们发现现有方法所使用的许多主流序列模型对于新闻推荐来说是次优的﹐而且新闻推荐并不满足序列推荐的基本假设。为了应对这一挑战，我们提出了一种名为Tem- pRec的时间多样性感知的新闻推荐方法﹐该方法可以考虑用户的新闻点击行为的时间多样性性质﹐从而做出更好的推荐。在两个数据集上的实验结果验证了TempRec的有效性。

三 未来工作和老师提出的改进:

1. 看看数据集，不同类别的新闻或者人群可能推荐也有差异
2. 加入一个流行度作为衰减因子，流行度对用户的短期偏好也会有影响
3. 针对temprec模型，可以将第一个transformar作为序列推荐进行改进。

对于上述论文一些知识点的学习链接

1.Glove模型介绍
2. 认识Adam优化器
3. 新闻推荐系统LSTUR,NRMS
4.新闻编码器和用户表示的介绍
5.attention详解
6.Transformer详解
7.推荐算法评价指标
8.负采样
9.Transformer学习
10.最重要的论文链接