review for Sequential Recommender System based on Hierarchical Attention Network

基本介绍

本文作者是Haochao Ying 等人，发表于IJCAI 2018。代码地址

主要贡献/创新点

• 引入注意力机制来对用户动态和个性化的兴趣建模，以进行顺序推荐
• 通过分级结构，组合用户的长短期兴趣以产生高水平的推荐

背景

传统的推荐方法对于用户的long-term preference（interest）是不考虑它的动态变化的，而且使用线性的模型来建模用户和item之间的交互，并且没有很好的考虑sequential information（short term preference）。
New challenges:

• 用户行为只是反映了隐式反馈，这类型的数据不能区分用户对item是否喜欢。因此不能用传统的方法如latent factor model 去进行优化

• 会话推荐使得推荐不得不考虑short-term preference 以及变化的long-term taste

相关工作

• 马尔科夫链、矩阵分解以及相关变体
  • 缺点：long-term preference通过user-item interacton matrix分解得到，是static representation，不能反应其随时间变化的性质，而short-term preference通过利用item-item transactions建模序列信息,不能够捕捉到高水平的用户项目交互，因为不同部分（long and short term）的权重是fixed
• 图模型和神经网络用于推荐（深度学习）
  • [Liu et al 2016] 等人提出提出了一种双加权low-rank图构建模型，该模型将用户兴趣和顺序偏好与时间间隔评估相结合
  • [Cheng et al 2016]将宽线性模型与交叉积特征变换相结合，并采用深度神经网络来学习特征嵌入之间的高度非线性相互作用。 但是，该模型需要特征工程来设计交叉特征，这在具有高稀疏性的实际数据中很少被观察到
  • [He、Chua，2017]和[Xiao et al，2017]分别设计了B-Interaction和注意力池化，以基于传统的分解机技术自动学习二阶特征交互
  • [Hidasi et al，2015]和[Wuet al，2017]采用递归神经网络（RNN）来挖掘轨迹数据中的动态的用户和项目偏好
  • [Wang et al，2015]和[Hu et al，2017]学习了用户层次表示，以结合用户的长期和短期偏好。

Model

Formulation

• |U| and |V| 分别表示用户和项目的集合
• L^u = {S₁^u, S₂^u, …, S_T^u} 其中T为time staps, S_t^u ⊆ V (t ∈ [1, T]) 表示在时间步骤t对应于用户u的项目集
• L_t-1^u = S₁^u ∪ S₂^u ∪ … ∪ S_t-1^u 可以表示用户u的long-term preference； S_t^u 可以表示用户u的short-term preference

The Network Architecture

模型结构

• Embedding Layer
   U ∈ R^K×|U| 和V ∈ R^K×|V| 是嵌入后的向量，具体方法见代码，感觉作者是随机初始化的（不知道对不对哈哈）
• Long-term Attention-based Pooling Layer
  直接上公式：
  
  W₁ ∈ R^K×|K| and b₁ ∈ R^K×1 ,φ(·) 是激活函数，论文中提到用relu, 但是代码中用的是sigmoid
  
• Long- and Short-term Attention-based Pooling Layer
  
  W₂ ∈ R^K×|K| and b₂ ∈ R^K×1 , x_j represents the embedding of item j ∈ S_t^u when j > 0 and x_j = u_t-1^long when j = 0.
  
• Model Inference
  
  提出了成对排名目标函数,假设用户更喜欢下一个购买的项目比起其他未观察到的项目，
  
  j is the purchased next items by user u at time step t, and k is an unobserved item generated by bootstrap sampling. （代码中，作者是从current session 中随机选取一个item作为j,从不在current session 和 pre session 中负采样k）
  目标函数：
  
  Θuv = {U, V } ，Θa = {W1, W2}，λ = {λuv, λa} is the regularization parameters.
• 伪代码
  

实验

• 数据集 ：Tmall Gowalla
• 实验结果：
  
  

总结

• 首先将用户和项目嵌入到低维度空间中，然后使用双层注意机制网络来模拟用户动态长期preference和顺序行为（短期）。 我们的模型不仅考虑用户的长期和短期偏好中的动态属性，还考虑用户和项目，项目和项目因素之间的高级复杂交互
• long-term preference 是动态变化的，这点作者考虑到了，这种变化第一体现在long-term的item集合长度是变化的，第二是时刻不同，赋予每一个item的权重也不同。针对不同的用户，同一个item对不同用户影响也不同。