Deep Crossing: Web-Scale Modeling without Manually Crafted Combinatorial Features（2016）

Deep Crossing: Web-Scale Modeling without Manually Crafted Combinatorial Features（2016）

(0)个人小结

FM 也为特征交叉提供了方法，其思路是将特征相乘并学习得到一个权重，一般用于二阶特征交叉，高于二阶时将面临计算复杂度的问题。Deep Crossing 为高阶特征交叉提供了思路：首先将原始数据映射为 Embedding ，然后将 Embedding 拼接起来，最后经过多层的残差网络进行特征交叉。

(1) 研究目标

提出 Deep Crossing 框架，它是一个旨在解决特征工程中特征组合问题的深度神经网络模型。通过该模型自动学习特征的组合方式，生成高阶特征，从而降低人工特征组合的开销。

(2) 背景 & 问题描述

背景：

传统机器学习是以能够充分利用输入特征为假设来进行预测或者分类的，但是，原生的特征很难取得好的效果，工业界和学术界都在特征工程上花了较多的时间和精力，其中不乏对特征进行组合，然后将组合后的特征作为输入（组合特征又叫：交叉特征、多路特征）。

(3) 研究方法

模型架构：

Embedding 层: 将原始特征映射为 Embedding 向量。

Stacking 层: 将所有的 Embedding 向量和部分原始特征拼接成一个向量。

Residual Unit 层: 基于残差单元 Residual Unit 构建的残差层，其输出为：

Scoring 层：

损失函数：

原始残差网络：

残差是指预测值和观测值的差距，而误差是衡量观测值和真实值之间的差距。

参考资料：AI算法工程师手册