【读书笔记-＞推荐系统】03-01 深度学习推荐模型演化关系图

03-01 深度学习推荐模型演化关系图

深度学习的推荐模型有两大特点：

1. 表达能力强，能够挖掘出更多数据中潜藏的模式。
2. 模型结构非常灵活，能够根据业务场景和数据特点，灵活调整模型结构，使模型与应用场景完美契合。

从技术角度讲，深度学习推荐模型大量借鉴并融合了深度学习在图像、语音及自然语言处理方向的成果，在模型结构上进行了快速的演化。

图 3-1 所示为主流深度学习推荐模型的演化图谱。以多层感知机( Multi-Layer Perceptron, MLP ) 为核心，通过改变神经网络的结构，构建特点各异的深度学习推荐模型，其主要的演变方向如下。

1. 改变神经网络的复杂程度：从最简单的单层神经网络模型 AutoRec ( 自编码器推荐），到经典的深度神经网络结构 Deep Crossing( 深度特征交叉 ），其主要的进化方式在于—增加了深度神经网络的层数和结构复杂度。
2. 改变特征交叉方式：这类模型的主要改变在于丰富了深度学习网络中特征交叉的方式。例如，改变了用户向量和物品向量互操作方式的 NeUralCF( Neural Collaborative Filtering, 神经网络协同过滤 ），定义了多种特征向量交叉操作的PNN ( Product-based Neural Network, 基于积操作的神经网络 ）模型。
3. 组合模型：这类模型主要是指 Wide&Deep 模型及其后续变种Deep&Cross,DeepFM 等，其思路是通过组合两种不同特点、优势互补的深度学习网络，提升模型的综合能力。
4. FM 模型的深度学习演化版本：传统推荐模型 FM 在深度学习时代有了诸多后续版本，其中包括 NFM ( Neural Factorization Machine, 神经网络因子分解机）、FNN ( Factorization-machine supported Neural Network, 基于因子分解机支持的神经网络 ）、AFM ( Attention neural Factorization Machine, 注意力因子分解机 ）等，它们对 FM 的改进方向各不相同。例如，NFM 主要使用神经网络提升 FM 二阶部分的特征交叉能力，AFM 是引入了注意力机制的 FM 模型，FNN利用 FM 的结果进行网络初始化。
5. 注意力机制与推荐模型的结合：这类模型主要是将“注意力机制”应用于深度学习推荐模型中，主要包括结合了 FM 与注意力机制的 AFM 和引入了注意力机制的 CTR 预估模型 DIN ( Deep Interest Network, 深度兴趣网络）。
6. 序列模型与推荐模型的结合：这类模型的特点是使用序列模型模拟用户行为或用户兴趣的演化趋势，代表模型是 DIEN( Deep Interest Evolution Network, 深度兴趣进化网络）。
7. 强化学习与推荐模型的结合：这类模型将强化学习应用于推荐领域，强调模型的在线学习和实时更新，其代表模型是 DRN( Deep Reinforcement Learning Network, 深度强化学习网络）。

每个模型的发展都是基于先前的模型，其出现是有迹可循的。