推荐系统中的深度学习模型演化关系

深度学习推荐模型的演化关系

本文主要介绍下深度学习在推荐系统中的演化。

随着微软的Deep Crossing，谷歌的Wide&Deep，以及FNN、PNN等一大批优秀的深度学习推荐模型在2016年被提出，推荐系统和计算广告领域全面进入深度学习时代。时至今日，深度学习推荐模型已经成为推荐和广告领域当之无愧的主流 。 进入深度学习时代之后，推荐模型主要在以下两方面取得了重大进展 ：

(1)与传统的机器学习模型相比，深度学习模型的表达能力更强，能够挖掘出更多数据中潜藏的模式。

(2)深度学习的模型结构非常灵活，能够根据业务场景和数据特点，灵活调整模型结构，使模型与应用场景完美契合。

从技术角度讲，深度学习推荐模型大量借鉴并融合了深度学习在图像、语音及自然语言处理方向的成果，在模型结构上进行了快速的演化 。

下图为主流深度学习推荐模型的演化图谱。以多层感知机( Multi-Layer Perceptron, MLP) 为核心，通过改变神经网络的结构，构建特点各异的深度学习推荐模型，其主要的演变方向如下 ：

1. 改变神经网络的复杂程度：从最简单的单层神经网络模型AutoRec（自编码器推荐），到经典的深度神经网络结构Deep Crossing（深度特征交叉），其主要的进化方式在于——增加了深度神经网络的层数和结构复杂度。
2. 改变特征交叉方式：这类模型的主要改变在于丰富了深度学习网络中的特征交叉方式。例如，改变了用户向量和物品向量互操作的方式的NeuralCF（Neural Collabrative Filering，神经网络协同过滤），定义了多种特征向量交叉操作的PNN（Product-based Nueral Network，基于积操作的神经网络）模型
3. 组合模型：这类模型主要是指Wide&Deep模型及其后续变种Deep&Cross、DeepFM等，其思路是通过组合两种不同特点、优势互补的深度学习网络，提升模型的综合能力。
4. FM模型的深度学习演化版本：传统推荐模型FM在深度学习时代有了诸多后续版本，其中包括NFM（Neural Factorization Machine，神经网络因子分解机）、FNN（Factorization-machine supported Neural Network，基于因子分解机支持的神经网络）、AFM（Attention neural Faciorization Machine，注意力因子分解机）等，它们对FM的改进方向各有不同。例如，NFM主要使用神经网络提升FM二阶部分的特征交叉能力，AFM是引入了注意力机制的FM模型，FNN利用FM的结果进行网络初始化。
5. 注意力机制与推荐模型的结合：这类模型主要是将“注意力机制”应用于深度学习推荐模型中，主要包括结合了FM与注意力机制的AFM和引入了注意力机制的CTR预估模型DIN（Deep Interest Network，深度兴趣网络）。
6. 序列模型与推荐模型的结合：这类模型的特点是使用序列模型模拟用户行为或用户兴趣的演化趋势，代表模型是DIEN（Deep Interest Evolution Neiwork，深度兴趣进化网络）。
7. 强化学习与推荐系统的结合：这类模型将强化学习应用于推荐系统，强调模型的在线学习和实时更新，代表模型是DRN（Deep Reinforcement Learning Network，深度强化学习网络）

之后再学习每个模型的细节。。。