推荐系统 | DCN和Wide&Deep

论文链接

Deep & Cross Network for Ad Click Predictions
Wide & Deep Learning for Recommender Systems

---

1.这两篇是如何从FM变体过来的，为何要这么做？

DCN

DCN直接将FM的过程在高阶特征组合上进行推广，是高阶FM的降维实现。只有两层且第一层与最后一层权重参数相等时的Cross网络与简化版FM等价。

DCN的计算图如下：

与DeepFM类似，DCN是由embedding+MLP部分与cross部分进行联合训练的。Cross部分是对FM部分的推广。

FM简单的结构限制了它的表达能力。虽然已经有工作将FM扩展到更高阶，但是它们的大量的参数会带来很大的计算成本。DNN能够自动学习特征交互，但是，它们隐式地生成所有交互，并且不一定有效地学习所有类型的交叉特征。而DCN不仅保留了DNN模型的有点，除此之外，它还引入了一种新的交叉网络，可以更有效地学习某些有界的特征交互。 特别是，DCN明确地在每一层应用特征交叉，不需要手动特征工程，并且为DNN模型增加了可忽略的额外复杂性。

Wide&Deep

Wide&Deep将深度模型与线性模型进行联合训练，二者的结果求和输出为最终点击率。Wide&Deep的wide部分是高维线性模型，deep部分是dnn层。（DeepFM是一个集成了FM和DNN的神经网络框架，思路和google的Wide&Deep有相似的地方。DeepFM的wide部分是FM模型，deep部分是dnn层。和W&D模型相比，DeepFM的wide和deep部分共享相同的输入，wide部分使用的是FM，对于组合特征不在需要手工制作。用FM建模low-order的特征组合，用DNN建模high-order的特征组合，因此可以同时从raw feature中学习到low-和high-order的feature interactions。在真实应用市场的数据和criteo的数据集上实验验证，DeepFM在CTR预估的计算效率和AUC、LogLoss上超越了现有的模型（LR、FM、FNN、PNN、W&D）。）

Wide & Deep模型的提出，旨在使得训练得到的模型能够同时获得记忆 （memorization）和泛化（generalization）能力：

记忆（memorization)即从历史数据中发现item或者特征之间的相关性。
泛化（generalization）即相关性的传递，发现在历史数据中很少或者没有出现的新的特征组合。

在推荐系统中，记忆体现的准确性，而泛化体现的是新颖性。

2.这两篇paper的主要区别是什么？

Wide&Deep是DCN的基础框架，它们均采用神经网络联合训练的思路，对神经网络进行并联。

区别

• Wide&Deep的Wide部分是逻辑回归，可以手动设计组合特征。
• DCN的Wide部分是Cross网络，不强求手动设计特征。但此时与字面意义上的Wide有一定差异，因为共享了降维后的嵌入特征。

---

参考资料

https://baijiahao.baidu.com/s?id=1606122181362738392&wfr=spider&for=pc