review for STAMP: Short-Term Atention/Memory Priority Model for Session-based Recommendation

基本介绍

本文的作者是Qiao Liu 等人，来自成都电子科技大学，该文发表于KDD 2018。本文代码地址STAMP.

主要贡献/创新点

• 引入了一个短期注意/记忆优先级模型，该模型学习：（a）具有跨会话的项目的统一嵌入空间和（b）用于基于会话的推荐系统的下一次点击预测的神经注意机制模型。
• 提出了一种新的注意机制来实现STAMP模型，其中注意权重是根据会话上下文计算的，并且随着用户的当前兴趣而增强。输出的注意力向量被读取为用户时间兴趣的组成表示，并且对于用户的兴趣随时间转移比对其他基于神经注意力的模型更敏感。因此，它能够同时捕获用户的一般（响应初始目的）兴趣和他们的短期关注（当前兴趣）。

相关工作

（注：参考文献在paper中对应）

• global models that focused on identifying users’ interests in general or localized models that emphasize users’ temporal interests
  • 基于用户的整个购买/点击历史的协同过滤（CF）方法。例如，矩阵分解（MF）使用潜在向量来表示一般兴趣，其通过分解由整个历史交易数据组成的用户项矩阵来估计。
  • 邻域方法[14]，它试图根据会话中项目相似性来推荐
  • 基于马尔可夫链（MC）的模型[3,15]，其利用用户动作之间的顺序连接来进行预测
  • 缺陷：基于当前兴趣的推荐很少考虑会话中不相邻的项目之间的顺序交互；尽管基于一般兴趣的推荐善于捕获用户的一般兴趣，但很难在没有明确模拟相邻连接情况下使其推荐适应用户最近的购买[19]
• take into consideration of both type of user interests
  • 一般方法
    • Rendle等人 [13]提出了一个混合模型FPMC，它结合了MF和MC来模拟顺序行为和一般兴趣进行next basket推荐，从而比单独考虑短期或长期兴趣实现更好的效果。
    • wang等人 [19]提出了一种混合表示学习模型，它采用两层分层结构来建模用户的上一次交易的顺序行为和一般兴趣。
    • 缺陷：都只能模拟相邻动作之间的局部顺序行为，而不考虑会话上下文传达的全局信息。
  • 深度学习方法：
    • Hidasi等人[5] 使用RNN中的RGU来建模会话数据，该会话数据直接从给定会话中的先前点击会话学习，并对下一个item进行推荐。
    • Tan等人[17]提出了一种数据增强技术，用于改进RNN的性能，以用于基于会话的推荐
    • Yu等[20]提出了一种动态递归模型，该模型应用RNN在不同时间为每个basket学习用户一般兴趣的动态表示，并捕获basket中的全局顺序行为
    • 缺陷：模型以隐式方式捕获下一次点击和先前点击之间的相关性。 此外，最后一个时间步骤中的隐藏状态包含关于序列的信息，其中强烈关注最接近下一次点击的部分[1]，因此长距离的item的一般兴趣特征可能被忘记。
    • hu等人[6] 提出一个具有广泛扩展结构（SWIWO）的神经网络来学习用户会话上下文。 它通过合并当前会话中的所有项目嵌入来构建会话上下文，这使得每个基于目标item特定距离的item有了固定的权重
    • Li等人[10] 提出一种基于RNN的编码器 - 解码器模型（NARM），它将来自RNN的最后隐藏状态作为顺序行为，并使用先前点击的隐藏状态进行注意力计算，以捕获给定会话中的主要目的（一般兴趣）
    • 最近的另一项相关工作是Time-LSTM模型[21]，它是LSTM的变体。 Time-LSTM通过同时考虑短期和长期兴趣使用时间门来控制最后消费项目的影响和存储时间间隔来模拟用户的长期兴趣，但是大部分数据集都没有提供时间戳。 这种方法这里没有考虑

Model

这里只引用Stamp,其他变体不再赘述

直接上公式：


其中xi∈Rd表示第i项si∈St，xt∈Rd表示最后点击，W0∈R1×d是加权向量，W1，W2，W3∈Rd×d是加权矩阵，ba∈Rd是 偏置矢量，σ（·）表示sigmod形函数。 αi表示当前会话前缀中项目xi的注意力系数

然后，为了特征抽象，用两个MLP网络处理一般兴趣ms和当前兴趣mt。 除了它们具有独立的参数设置之外，图1中所示的MLP单元的网络结构彼此相同。 没有隐藏层的简单MLP用于特征抽象，ms上的操作被定义为：

hs∈Rd表示输出状态，Ws∈Rd×d是加权矩阵，bs∈Rd是偏置矢量。 f（·）是非线性激活函数（在本研究中使用tanh）

其中σ（·）表示sigmoid函数。 设z∈R| V | 表示由三线性乘积zi组成的向量，其中每个zi（i∈[1，…，| V |]）表示与当前会话prefx St 和候选项目xi有关的加权用户兴趣的表示之间的非标准化余弦相似度 i。 然后由softmax函数处理以获得输出y：

loss function ：

实验

数据集：
Yoochoose from the RecSys’15 Challenge 链接
Diginetica dataset coming from the CIKM Cup 2016 链接
实验结果：


对于更长的会话长度，STMP-和STMP之间以及STAMP-和STAMP之间的性能差距变得更大。 这证明虽然从会话环境中获取一般兴趣很重要，但明确利用短期兴趣可以提高推荐的质量。 此外，STAMP-优于STMP-由STAMP中的关注机制捕获的混合兴趣产生 - 而STMP-仅考虑一般兴趣;这证明了基于会话的推荐任务中的最后点击信息的重要性。
##########################################################################################
关于重复点击的问题：因为重复点击可能会强调来自不重要项目的无效信息，并且难以捕获与下一个操作相关联的用户兴趣。 在STAMP中，使用短期注意优先级来模拟用户兴趣，其中注意机制从给定会话中选择重要项目以模拟用户兴趣。 这两者都可以有效地减轻会话中重复点击的影响。 相反，在其他方法中仅使用最终点击或平均点击信息，这些模型通常会丢失重要信息，并且无法克服与重复点击相关的问题。 这证明了短期注意优先权和提出的注意机制的有效性。

关于更多的实验结果请查看原文，作者论述相当精确。

总结

在本文中，作者提出了基于会话推荐的短期注意/记忆优先级模型。 研究可以得出两个重要的结论：（1）用户的下一步行动主要是由会话prefx的最后点击所影响，模型可以通过时间兴趣表示有效地利用这些信息。 （2）提出的注意机制可以有效地捕捉会话的长期和短期兴趣，实证结果证明，在注意机制的帮助下，模型在所有数据集上实现了最先进的性能。