关于广告、推荐中的CTR的学于思

CTR

CTR预测就是对用户是否点击广告进行预测，其实可以看成二分类问题，即点和不点。

logistics回归(LR)：

• logistics输出的是概率，可以较为直观的解释用户点击广告的几率

• 计算目标函数的复杂度O(N)，计算速度快，所以比较适合处理大数据

• 没有考虑特征之间的相关性，没有特征进行组合

• 为了提高模型性能，在模型训练之前，需要做很多的特征工程

GDBT+LR:

使用GDBT的输出作为LR的输入

• 使用GDBT可以组合特征，增强特征的表达能力
• 通过控制GDBT中树的个数和每颗树的树叶个数来对数据进行降维

Facebook经典模型LR+GBDT理论与实践 《Practical Lessons from Predicting Clicks on Ads at Facebook》

FM：

FM通过对每个特征都学习一个隐变量，从而考虑到特征之间的关系。

• 考虑特征之间的关系，增强了模型的泛化能力
• 通过对目标函数巧妙的分解合并，可以O(N)时间复杂度下完成
• 适合处理稀疏数据。相对来说SVM就不能用来处理稀疏的数据。

补充：FM一般结合GDBT来提高模型性能，即用GDBT的输出作为FM的输入

FFM：

FFM是在FM基础上进行了改进，提出了filed概念。每个特征在不同的filed中有不同的隐变量。

• 在FM模型的基础，模型的性能得到进一步的提高
• 同样适合处理稀疏数据
• FFM不像FM那样可以对目标函数分解合并，在线性时间内完成函数的计算。在时间复杂度上要比FM要复杂。以二次项为例时间复杂要O(N^2)

DNN

FNN

FM与MLP的串联结合，采用 FM 预训练得到的隐含层及其权重作为神经网络的第一层的初始值，之后再不断堆叠全连接层，最终输出预测的点击率

PNN

对比 FNN 网络，PNN 的区别在于中间多了一层 Product Layer 层。Product Layer 层由两部分组成，左边 z 为 embedding 层的线性部分，右边为 embedding 层的特征交叉部分

Wide & Deep

DeepFM

NFM

前面的 DeepFM 在 embedding 层后把 FM 部分直接 concat 起来（f*k 维，f 个 field，每个 filed 是 k 维向量）作为 DNN 的输入。

Neural Factorization Machines，简称 NFM，提出了一种更加简单粗暴的方法，在 embedding 层后，做了一个叫做 BI-interaction 的操作，让各个 field 做 element-wise 后 sum 起来去做特征交叉，MLP 的输入规模直接压缩到 k 维，和特征的原始维度 ｎ 和特征 field 维度 f 没有任何关系。

AFM, Attentional Factorization Machine

AFM 的亮点所在，通过一个 Attention Net 生成一个关于特征交叉项的权重，然后将 FM 原来的二次项直接累加，变成加权累加。本质上是一个加权平均，学习 xjxj 的交叉特征重要性。

AFM 与 NFM 都是致力于充分利用二阶特征组合的信息，对嵌入后的向量两两进行逐元素乘法，形成同维度的向量。而且 AFM 没有 MLP 部分，当权重都相等时，AFM 退化成无全连接层的 NFM。

DCN, Deep & Cross Network

DIN, Deep Interest Network

DIN 把用户特征、用户历史行为特征进行 embedding 操作，视为对用户兴趣的表示，之后通过 attention network，对每个兴趣表示赋予不同的权值

Multi-Task

推荐场景上的优化目标要综合考虑用户的点击率和下单率，利用DNN灵活的网络结构引入了Multi-task训练。

深度学习在CTR预估中的应用 CTR深度模型大盘点

从FM推演各深度CTR预估模型（附开源代码）

美团“猜你喜欢”深度学习排序模型实践