Deep Crossing的学习笔记

Deep Crossing的简介

Deep Crossing模型是微软于2016年在KDD上提出的模型，它算是第一个企业以正式论文的形式分享深度学习推荐系统的技术细节的模型。该模型由Embedding Layer + Stacking Layer + Multiple Residual Units Layer + Scoring Layer组成。用于广告推荐，预测用户是否会点击广告，优化推荐。

Embedding层

Embedding层是将特征中的稀疏变量转化为稠密向量，由于部分特征使用one-hot方法向量化，导致矩阵过分稀疏，则需要通过embedding层进行处理，从而使向量稠密化。对于非稀疏的特征则无需进入该层处理。

Stocking层

Stocking层也是连接层，将不需要处理的特征向量以及经过稠密化处理的特征向量拼接在一起。最后形成包含所有特征的新向量。

Multiple Residual Units层

该层采用的方式是多层感知机，其中与感知机不同的是使用了残差网络进行连接。

Relu

Relu

X_0

W_0,B_0

W_1,B_1

X_1

特征输入后，对特征进行连接，并使用Relu函数送入下一层，接下来重复这样的操作，从$X_0$通过残差拟合后得到$X_1$，其中拟合方式是基于残差，但层数不可以过多，容易出现过拟合的情况。

Scoring层

该层为输出层，常用Logistic函数进行二分类，然后使用CRT进行结果评价。通过多层连接在最后输出为概率值，在对结果进行评价

其中损失函数为

$logloss=-\frac{1}{N}{\sum }_i^N(y_{i}log(p_i))+(1-y_i)log(1-p_i)$

其中$y_i$表示为用户点击（未点击），$p_i$为用户点击（未点击）的概率

总结

该模型通过特征输入、特征Embedding化、特征连接、多层神经网络残差拟合、逻辑回归概率预测完成对用户的推荐，并根据用户的实际点击情况评价模型的效果。