深度学习推荐系统之DeepCrossing

DeepCrossing模型原理

这个模型就是一个真正的把深度学习架构应用于推荐系统中的模型了， 2016年由微软提出， 完整的解决了特征工程、稀疏向量稠密化， 多层神经网络进行优化目标拟合等一系列深度学习在推荐系统的应用问题。 这个模型涉及到的技术比较基础，在传统神经网络的基础上加入了embedding， 残差连接等思想， 且结构比较简单， 对初学者复现和学习都比较友好。

DeepCrossing模型应用场景是微软搜索引擎Bing中的搜索广告推荐， 用户在输入搜索词之后， 搜索引擎除了返回相关结果， 还返回与搜索词相关的广告，Deep Crossing的优化目标就是预测对于某一广告， 用户是否会点击， 依然是点击率预测的一个问题。

这种场景下， 我们的输入一般会有类别型特征， 比如广告id， 和数值型特征， 比如广告预算，两种情况。 对于类别型特征， 我们需要进行one-hot编码处理， 而数值型特征， 一般需要进行归一化处理， 这样算是把数据进行了一个简单清洗。 DeepCrossing模型就是利用这些特征向量进行CTR预估，那么它的结构长啥样， 又是怎么做CTR预估的呢？ 这又是DeepCrossing的核心内容。

1.1 DeepCrossing模型的网络结构

为了完成端到端的训练， DeepCrossing模型要在内部网络结构中解决如下问题：

1. 离散类(类别)特征编码后过于稀疏， 不利于直接输入神经网络训练， 需要解决稀疏特征向量稠密化的问题
2. 如何解决特征自动交叉组合的问题
3. 如何在输出层中达成问题设定的优化目标

DeepCrossing分别设置了不同神经网络层解决上述问题。 模型结构如下：