paper1:Wide & Deep Learning for Recommender Systems

论文整理待写：

Wide & Deep Models

--2018.12.1/12.2  两天

1、论文创新点

广义线性模型存在需要太多特征工程的工作；

深度模型的embedding的过度概括化以至于推荐不太相关的物品当用户数据比较稀疏时；

提出了一个结合使用了非线性特征的线性模型和一个用来embedding特征的深度学习，并且使用联合训练的方法进行优化。思想是，基于交叉特征的线性模型只能从历史出现过的数据中找到非线性（显性的非线性），深度学习可以找到没有出现过的非线性（隐形的非线性）。

2、论文架构

（1）线性模型

交叉积转换特征

（2）深度模型

embedding+全连接

（3）联合训练

与集成学习不同，是联合训练，将wide模块和deep模块的对数加权输出作为预测值，然后将其给到一个常规的逻辑损失函数中，用于联合训练。

3、论文结果验证

训练阶段，我们的输入层吸收训练数据，词汇，生成稀疏和稠密特征。Wide模块包含用户安装的app和展示的app的交叉特征。对于深度模块，我们为每个类别特征学习了32维的emedding特征。并将全部的embedding特征串联起来，获得一个近似1200维的稠密向量。并将该向量传入3层的RELU隐层，最终获得逻辑输出单元。

WD将被训练在超过5000亿的样本上。每次一个新的训练数据达到，模型需要重新训练。但是，重新训练费时费力。为了克服这个挑战，我们实现了一个热启动系统，我们使用预先的模型权值去初始化新模型权值。

参考资料：转载（论文解读）https://blog.csdn.net/sxf1061926959/article/details/78440220?locationNum=5&fps=1