加州大学提出时间间隔自注意力模型用于序列推荐(已开源)
Time Interval Aware Self-Attention for Sequential Recommendation
Jiacheng Li, Yujie Wang, Julian McAuley
University of California, Florida State University
WSDM 2020
https://cseweb.ucsd.edu/~jmcauley/pdfs/wsdm20b.pdf
序列推荐系统会利用用户行为的序列信息，基于用户最近行为的上下文来预测下一步的行为。
目前，马尔科夫链以及最近的循环神经网络和自注意力由于能够捕捉到序列行为的动力学而得到广泛应用。但是，这些模型中的大部分暗含了简单的假设，即将行为历史看做有序序列，不关心每个行为之间的时间间隔，这些模型只对时间的序列进行建模，不对实际的时间戳进行建模。
这篇文章，旨在基于序列模型框架对行为的时间戳进行建模，在下一个商品预测中探索不同时间间隔的影响。作者们提出TiSASRec，考虑时间间隔的基于自注意力的序列推荐模型，可以对序列中商品的绝对位置和商品之间的时间间隔同时建模。
作者们试验了不同的场景下TiSASRec的特性，并且对比了不同位置编码下自注意力的效果。实验结果表明，该方法在稀疏和稠密数据集上多个评价指标均优于STOA序列模型。
部分主流模型的简介如下
这些方法的缺陷在于只考虑了位置，没考虑时间间隔
两个数据集中行为之间的时间间隔分布图示如下
这篇文章的主要贡献如下
部分现有方法及其缺陷在于
注意力机制简介如下
不同的时间间隔可能需要推荐不同的商品
问题描述如下
得到个性化时间间隔的方法简介如下
位置信息的embedding可以通过以下方式得到
相对时间间隔embedding矩阵形式如下
时间间隔感知的自注意力层简介如下
其中权重系数形式如下
前向神经网络简介以及利用的技巧简介如下
预测层简介如下
模型推理过程简介如下
作者们利用的数据集有以下几个
数据集处理及特性简介如下
评价指标采用以下两个
数据集信息统计如下
参与对比的几种模型有以下几个
参数设置如下
几个模型的效果对比如下
不同的模型对稠密数据集和稀疏数据集效果有所区别
相对时间间隔的效果跟其他方法的效果对比如下
隐含因子的维度对模型效果影响如下
序列的最大长度对模型效果影响如下
最大时间间隔对模型效果影响如下
不同的时间戳处理方法对模型效果影响如下
上述三种方法简介如下
代码地址
https://github.com/JiachengLi1995/TiSASRec
我是分割线
您可能感兴趣
普渡大学提出轻量级特征交互算法deeplight大幅加速ctr预估在线服务(已开源)
谷歌和加州大学提出多粒度量化embedding用于大规模类别特征表示
加州大学提出个性化Transformer序列推荐模型SSE-PT(已开源)
谷歌提出深层哈希embedding用于大规模类别型特征表示
微软提出基于知识图谱的深度神经网络DKN用于新闻推荐
谷歌提出改进版DCN(DCNV2)用于大规模推荐系统
ADKDD2017|深度交叉网络DCN在广告点击预估中的应用
WWW2018|FwFM加权域分解机在CTR预估中的应用
WSDM2020|InterHAt分层注意力可解释CTR预估(已开源)
CIKM2019|Fi-GNN图神经网络学习特征交互在CTR预估中的应用(已开源)
CIKM2019|AutoInt自注意力神经网络自动学习特征交互(已开源)
WSDM2019|近似解耦随机游走RecWalk在top-N推荐中的应用(已开源)
CIKM2013|深层结构语意模型DSSM在web搜索中的应用
WSDM2019|社交注意力记忆网络在推荐系统中的应用(已开源)
SIGIR2020|基于序贯行为的高效迁移学习在用户建模及推荐中的应用(已开源)
WSDM2019|门限注意力自编码在内容感知推荐中的应用(已开源)