深度推荐模型中组件拆解

近年来，深度学习兴起，制霸了很多算法领域。在推荐系统中，在数据量足够的情况下，深度模型效果也优于传统模型。各大会议中，我们看到相关的模型层出不穷，wide&deep，deepfm，pnn等。细究这些模型，网络结构可以拆分为各个组件，不同的模型可看成是组件的排列组合。下面从组件粒度来分析下深度推荐模型。模型论文见参考文献。

embedding

embedding是模型的第一层。初始特征先离散化，做one-hot编码。对每一组特征，查询embbedding_look_up，然后进行sum_pooling。每一维度的特征，都会映射到一个固定长度的隐向量中。embbedding的参数会随着模型训练更新。

wide

相当于lr。不走embedding，对于离散特征，加入人工特征组合，hash到特征空间中，进行训练学习。设计的目标是记忆到一些case实例。wide&deep中使用。

deep

进行多层的mlp/dnn。在embedding产生的结果concat起来，送入训练。设计的目标是学习到一些高阶特征组合。wide&deep和deepfm和pnn中使用。

fm

同普通的fm。在embedding产生到特征的隐向量，将特征两两组合成二阶特征，送入训练。deepfm中使用。

pnn

通过改进向量乘法运算延迟fm的实现过程。可以选择内积或者外积。pnn中使用。

attention

考虑到一组特征中的不同权重。原始的做法，是embedding后直接加起来。现在要考虑到权重，分析每个特征与目标的相似度，加权来加起来。din和dien中使用。

参考文献:

1. Heng-Tze Cheng and Levent Koc. Wide & deep learning for recommender systems. In Proceedings of the 1st Workshop on Deep Learning for Recommender Systems, pages 7–10. ACM, 2016.
2. Huifeng Guo, Ruiming Tang, Yunming Ye, Zhenguo Li, and Xiuqiang He. DeepFM: A Factorization-Machine based Neural Network for CTR Prediction. arXiv preprint arXiv:1703.04247 (2017).
3. Guorui Zhou, Chengru Song, Xiaoqiang Zhu, Xiao Ma, Yanghui Yan, Xingya Dai, Han Zhu, Junqi Jin, Han Li, and Kun Gai. 2017. Deep Interest Network for Click-Through Rate Prediction. arXiv preprint arXiv:1706.06978 (2017).
4. Guorui Zhou, Chengru Song, Xiaoqiang Zhu, Xiao Ma, Yanghui Yan, Xingya Dai, Han Zhu, Junqi Jin, Han Li, and Kun Gai. 2017. Deep Interest Network for Click-Through Rate Prediction. arXiv preprint arXiv:1706.06978 (2017).