3.1 深度学习推荐模型的演化关系图

（1）改变神经网络的复杂程度：从最简单的单层神经网络模型（AutoRec），到经典的深度神经网络结构（Deep Crossing），其主要的进化方式在于---增加了深度神经网络的层数和结构复杂度。

（2）改变特征交叉方式：这类模型的主要改变在于丰富了深度学习网络中的特征交叉的方式。例如，改变了用户向量和物品向量互操作方式的NCF,定义了多种特生向量交叉操作的PNN模型。

（3）组合模型：这类模型主要是指Wide&Deep模型及其后续变种等，其思路是通过组合两种不同特点、优势互补的深度学习网络，提升模型的综合能力。

（4）FM模型的深度学习演化版本：传统推荐模型FM在深度学习时代有了诸多后续版本，其中包括NFM，FNN，AFM等他们对FM的改进方向各不相同。

（5）注意力机制与推荐模型的结合：这类模型主要是将注意力机制应用与深度学习推荐模型中，主要包括了FM与注意力机制的AFM和引入了之一李机制的CTR预估模型DIN(深度兴趣网络)

（6）序列模型与推荐模型的结合：这类模型的特点是使用序列模型模拟用户行为和用户兴趣的演化趋势，代表模型是DIEN(深度兴趣进化网络)

（7）强化学习与推荐模型的结合： 这类模型将强化学习应用与推荐领域，签到模型的在线学习和实时更新，其代表模型是DRN。