深度学习-----------2.6（GBDT+LR，LS-PLM）

模型：

GBDT+LR

GBDT自动进行特征筛选和组合，进而生成新的离散特征向量，再把该特征向量当做LR模型的输入，预估CTR的模型结构。

GBDT构建特征工程，利用LR预估CTR这是两步独立的。

GBDT是由多棵回归树组成的树林，后一颗树以前一颗树的结果与真实值的残差作为拟合目标，每棵树生成的过程是一颗标准的回归树生成过程，因此回归树种每个节点的分裂是一个自然的特征选择的过程，而多层节点的结果则对特征进行了有效的自动组合，也就非常高效的解决了过去棘手的特征选择和特征组合的问题。决策树的深度决定了二阶交叉哦的阶数。

GBDT+LR组合模型的提出，意味着特征工程可以完全交由一个独立的模型来完成，模型的输入可以是原始的特征向量，不必在特征工程啥个投入过多的人工筛选和模型设计的精力，实现真正的端到端的训练。

LS-PLM

LS-PLM可以看做是对逻辑回归的自然推广，他在逻辑回归中的基础上采用分而治之的思路，先对样本进行分片，再在样本分片中应用逻辑回归进行CTR预估。

首先用聚类函数pi对样本进行分类，在利用LR模型计算样本在分片中的具体CTR，然后二者相乘后求和。

其中超参数‘分片数’可以较好的平衡模型的拟合能力与推广能力。当m=1时，LS-PLM就退化为普通的逻辑回归。m越大，模型的拟合能力越强。与此同时，模型参数国模也随着m的增大而现行增长，模型收敛所需的训练样本也随之增长。在实践中阿里给出的m经验值为12.

LS-PLM模型的有点：

1，端到端的非线性学习能力：LS-PLM具有样本分片的能力，因此能够挖掘出数据中蕴含的非线性，模式，省去了大量的人工样本处理和特征工程的过程，使得LS-PLM算法可以端到端的完成训练，便于用一个全局模型对不同应用领域、业务场景进行统一建模。

2，模型的稀疏性强：LS-PLM同时引入L1和L2范数，可以使得最终训练出来的模型具有较高的稀疏性，使得模型的部署更加轻量级。模型服务过程仅需要使用权重非零特征，因此稀疏模型也使其在线推断的效率更高。