深度推荐模型中组件拆解(非完整)

深度推荐模型中组件拆解(非完整)

近年来，深度学习兴起，制霸了很多算法领域，在推荐系统中，在数据量足够的情况下，深度学习模型的效果也优于传统模型，在各大会议中，我们看到相关内容的模型层出不穷，wide&deep，deepfm，pnn等。细究这些模型，网络结果可以拆分为各个组件，不同的模型可以看成是组件的排列组合，下面从组件粒度，来分析一下深度推荐模型。

embedding

embedding是模型的第一层。初始特征先离散化，做one-hot编码，对每一组特征，查询embedding_look_up, 然后进行sum_pooling.
每一维度的特征，都会映射到一个固定长度的隐向量中，embedding的参数会随着模型训练更新。

wide

相当于lr，不走embedding,对于离散特征，加入人工特征组合，hash到特征空间，进行训练学习。设计的目的是记忆到一些case实例。wide&deep中使用。

deep

进行多层的mlp/dnn。在embedding产生的结果concat起来，送入训练，设计的目的就是学习到一些高阶特征组合。
wide&deep 、deepfm、pnn中使用。

fm

同普通的fm.在embedding产生到特征的隐向量，将特征两两组合成二阶特征，送入训练。deepfm中使用。

pnn

通过改进向量乘法运算，延迟fm的实现过程。可以选择内积和外积。pnn中使用。

attention

考虑到一组特征中的不同权重，原始的做法是embedding之后直接加起来，现在要考虑到权重，分析每个特征与目标的相似度，加权来加起来，din和dien中使用。