2019-07-21

BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer

• 阿里的文章，用BERT做序列推荐
• 但是BERT不像RNN一样是从左到右的对序列建模，本文有个假设，就是用户历史行为的顺序对推荐下一个不是那么重要
• 然后就是直接套用BERT，输入序列包括历史序列和mask，会像BERT预训练那样随机mask掉序列中的某些item，然后预测mask掉的item，所以在序列的最后一个加一个mask，预测出来的就是下一个推荐的item课
• 主要贡献：把BERT用到序列推荐中了。

Multi-Interest Network with Dynamic Routing for Recommendation at Tmall

• 阿里的文章，天猫的推荐系统，学习用户兴趣表示
• 用到了胶囊网络的思想，学习用户的多个表示
• 以前的工作都是学习用户的一个固定长度的表示，这样做限制了表示能力
• 用户在一段时间内的兴趣也可能是有多种多样的，所以本文学习用户的多个表示，用来表示多个兴趣

• 具体地，通过用户的历史行为序列，利用胶囊网络，从n个历史item中提取出m个用户兴趣表示，就是下图中的Multi-Interest Extractor Layer。

  
  
  整体框架图
• 然后通过attention得到最后的预测值
• 主要贡献：提出需要多个用户兴趣表示，然后把胶囊网络的用来提取用户的多个表示

AutoInt: Automatic Feature Interaction Learning via

Self-Attentive Neural Networks

• 做自动特征交叉，但思想跟FM不一样

• 本文就是把多个特征映射到同一个向量空间，然后用Multi-head Self Attention层来让特征自动交叉

  
  
  整体框架图
• 主要贡献：提出了用Multi-head Self Attention来做特征交叉的观点。

Deep Learning Recommendation Model for Personalization and Recommendation Systems

• Facebook的文章
• 提出一个深度学习做个性化推荐系统的框架
• 建模的整体流程就是Embedding+FM+MLP+MF+MLP这样
• 然后还做了并行化，用PyTorch和Caffe2都实现了。
• 没太细看

[KDD 2019] Characterizing and Forecasting User Engagement with In-app Action Graph: A Case Study of Snapchat

• 描述和预测用户在一个APP里面的的参与度
• 对Snapchat做的一个Case Study
• 本文通过用户的历史活跃情况能够预测未来的活跃情况

[KDD 2019] A User-Centered Concept Mining System for Query and Document Understanding at Tencent

• 腾讯的文章，以用户为中心的概念挖掘系统
• 例如在搜索引擎中，通过用户输入的query理解用户的意图是很重要的，不同的用户输入相同的query，意图可能不一样
• 通过挖掘大量的用户log，在符合用户兴趣的适当粒度上提取以用户为中心的概念，所提取的概念具有适当的粒度，与用户语言风格一致，并且是动态更新的
• 还介绍了使用以用户为中心的概念标记文档的技术，以及构造主题-概念-实例分类法

[IJCAI 2019] Representation Learning-Assisted Click-Through Rate Prediction

• 阿里的文章，学习特征的表示，做CTR预估

• 传统的方法都是直接把特征拿来直接做估计，而本文增加了几个任务来更好的学习特征的表示

  
  
  传统的方法和本文的方法

• 本文训练时候同时训练3个任务：CTR预测、User-Item匹配、Item-Item相关。3个任务都能来学习特征的表示

  
  
  整体框架图
• CTR预测任务，就是用特征拼起来通过MLP得到CTR的预测值
• User-Item匹配，就是用User的表示、Item的表示做点积，来拟合user是否点击了item
• Item-Item相关，就是预测两个item时候同时出现在一个用户行为序列的窗口中
• 训练时候同时优化这3个loss，预测时候只看CTR预测任务的值
  主要贡献：用了两个辅助任务来帮助user表示和item表示的学习
• 个人认为User-Item匹配的任务和CTR预测任务是重复了的，因为他们预测的目标是一样的。但是他们的建模方式不一样，一个是dot，一个是拼接，所以同时用这两个任务可能也是有用的，实验也证明了是有用的。