DeepCTR模型优缺点对比

 

模型	时间	模型结构	优缺点
FNN	2016.01	LR Embedding Layer MLP	FM需要预训练 无法拟合低阶特征 每个field只有一个非零值的强假设
PNN	2016.11	Embedding Layer Product Layer (Inner/Outer) MLP	对低阶特征的学习有限
AutoInt	2019.08	Embedding Layer Multi-head Self-attention Layer	categorical feature和dense feature都用embedding表示 使用Multi-head Self-attention学习特征组合和权重
Wide&Deep	2016.06	Wide (memorization) LR Deep (generalization) Embedding Layer MLP	Wide部分需要人工特征工程 Embedding层Deep独有 Wide和Deep部分联合训练
DeepFM	2017.03	Wide  FM Layer Deep  Embedding MLP	低阶特征学习 Wide和Deep共享embedding，FM训练得到的参数既作为wide的输出，也作为deep的输入
XDeepFM	2018.03	Embedding & Stacking Layer Wide CIN Deep MLP	CIN学习了低阶特征组合和高阶特征组合
DCN	2017.07	Embedding & Stacking Layer Wide Cross Layer Network Deep MLP	Cross Layer每一层保留了低阶特征，随着层数的增加也组成高阶特征
NFM	2017.08	Wide FM Deep  Embedding Layer Bi-interaction Layer（让f个field两两element-wise相乘，形成f(f-1)/2个向量，再sum成k维）	网络参数压缩到k，加速网络训练 带来较大的信息损失
AFM	2017.08	Wide FM Deep  Embedding Layer Pairwise-interation Layer（f个field element-wise product之后，得到f(f-1)/2个交叉项） Attention Net Attention-based Pooling	使用Attention Net学习特征组合的权重 没有Deep部分
CCPM	2015	Convolution Layer Flexible Pooling Layer MLP	只能学习到相邻特征组成的组合特征
FGCNN	2019.04	Feature Generation Convolution Layer Max Pooling Layer Rebombination Layer (FC) Deep Classifier	Feature Generation学习全局特征组合
FIBINET	2019.05	SENET Bilinear Interaction MLP (FC)	SENET学习特征权重 Bilinear Interation学习特征组合

 

FNN

PNN

                                                                                                             Inner Product                                 Outer Product

AutoInt

Wide&Deep

DeepFM

XDeepFM

DCN

NFM

AFM

CCPM

FGCNN

FIBINET

 

总结

以上论文主要是在embedding层做改动，embedding融合后是DNN模型的输入，因此它决定了DNN模型学习的能力。

 

Reference:

https://zhuanlan.zhihu.com/p/47183877