Sequence-Aware Recommendation with Long-Term and Short-Term Attention Memory Networks（LSAMN）

Time：2019

Author：Daochang Chen, Rui Zhang, Jianzhong Qi, Bo Yuan（清华）

 

Abstract

在电商场景下，一个session里购买的各个商品对于预测下一个购买物品的权重是不同的。使用Attention Memory Network来学习每个session里的embedding、用户的长期兴趣和短期兴趣。

 

Model Architecture

LSAMN使用一个two-level attention embedding memory network来学习用户长期兴趣和短期动态兴趣之间的关系，同时学习一个session里商品间的联系。two-level attention memory network在两个embedding spaces里对用户长期兴趣和短期兴趣建模。

Two-Level Attention Memory Component

• Embedding Layer：输入user和一系列sessions，把user和item映射到两个embedding spaces
• Session-Level Attention Memory Network（SMN）计算每个用户当前session的embedding
  • 是session里物品i的attention weight，是在时间t，user u的session embedding

              

 

• Preference-Level Feed-Forward Neural Memory Network（PMN）学习当前场景下用户长期、短期兴趣的attention
  • 用户的长期、短期兴趣embedding
    • 
  • （GRU）sequential memory cell
    •  
  • 使用attention network更新用户长期、短期兴趣偏好
    • 
    • 
• Target Item Prediction
  • 
  • 
  • 

训练过程中使用negative sampling

 

Experiments

数据：Amazon数据集（Sports and Outdoors、Health and Personal Care、Clothing Shoes and Jewelry）

• 用户-物品的购买记录
• 每一个session包含用户一天内购买的物品

数据处理：

• 去除掉长尾用户（购买次数少于10次或者少于3个session）和商品（被购买次数少于10次）

• 用户的最后一个session作为测试集，剩余的session作为训练集

实验结果：

• 一层attention的效果比没有attention效果好，两层attention效果最好。