IJCAI2019|基于会话和注意力机制的CTR预估模型DSIN(已开源)
Deep Session Interest Network for Click-Through Rate Prediction
Yufei Feng, Fuyu Lv, Weichen Shen, Menghan Wang, Fei Sun, Yu Zhu and Keping Yang
Alibaba Group, Zhejiang University
https://www.ijcai.org/Proceedings/2019/0319.pdf
点击率预估在很多工业界应用（比如在线广告和推荐系统）中扮演者重要角色。
如何从用户行为序列中捕捉用户动态演变的兴趣在ctr预估中是一个持续不断的研究对象。
然而，目前大多数研究忽视了序列的内在结构: 每个序列都是由会话构成的，会话即为通过时间来分割的用户行为。同一个会话重的用户行为高度同质，不同会话中的用户行为具有异质性。
基于以上发现，作者们提出一种新的CTR模型，即深层会话兴趣网络，该模型能够利用用户行为序列中的多个历史会话。
首先利用带有偏移编码能力的自注意力机制来提取用户在每个会话中的兴趣。然后利用双向lstm对不同会话中的用户兴趣之间的关联进行建模。最后利用局部激活单元来自适应学习用户的多个会话中的兴趣如何决定目标商品。
在广告和推荐数据集上的实验表明，DSIN的效果优于其他STOA模型的效果。
几个会话的图示如下
这篇文章的主要贡献如下
考虑序列行为的模型主要有以下几个
基于会话的推荐方法主要有以下几种
所利用的特征包含用户特征，商品特征，以及用户行为特征
特征embedding方式如下
损失函数的定义如下
模型整体结构图示如下
会话分割层能够得到多个会话构成的序列
作者们利用多头注意力机制来提取会话中的用户兴趣
为了记录会话的位置信息，作者们借助于偏置编码来记录。
多头注意力具体形式如下
后续还利用了残差连接和层归一化，某个会话的兴趣利用均值pooling来计算。
会话兴趣提取利用双向lstm来完成
用户兴趣激活方式如下
广告数据集如下
推荐数据集如下
参与对比的方法简介如下
评价指标为
几种方法的效果比较如下
自注意力权重图示如下
代码地址
https://github.com/shenweichen/DSIN
我是分割线
您可能感兴趣
AISTATS2018|密歇根大学提出新型在线boosting算法用于多标签排序(已开源)
KDD2019|基于注意力的深度学习如何实时预测购买还是浏览
AAAI2020|一种新型高效兼容多行为的推荐系统模型EHCF(已开源)
ICML2007|深度学习用于协同过滤的开篇作之一(出自深度学习鼻祖之一Hinton)
SIGIR2019|基于BERT的深度学习模型在信息检索中的应用(已开源)
SIGIR2019|基于注意力机制的新型深度学习模型(采莓树模型BIRD,已开源)
SIGIR2019|深度学习如何更好地用于学习排序(LTR)(已开源)
SIGIR2019|利用DeepSHAP来解释神经检索模型(已开源)
KDD2018|基于GBM的动态定价回归模型
KDD2018|超越deepfm的CTR预估模型深层兴趣网络DIN(已开源)
RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET
SIGIR2018|选择性GBDT(SelGB)用于排序学习(已开源)
IJCAI2019|基于对抗变分自编码的协同过滤框架VAEGAN
聊聊CatBoost
聊聊XGBoost CatBoost LightGBM RF GBDT
顶会中深度学习用于CTR预估的论文及代码集锦 (3)
ICML 2018 深度学习论文及代码集锦(5)
深度学习用于文本摘要的论文及代码集锦
深度学习用于机器翻译的论文及代码集锦
深度学习用于序列标注中的论文及代码集锦
深度学习在推荐系统中的应用及代码集锦(4)
深度学习在OCR中的应用论文及代码集锦 (2)