DCN V2: Improved Deep & Cross Network and Practical Lessons for Web-scale Learning to Rank Systems
Ruoxi Wang, Rakesh Shivanna, Derek Z. Cheng, Sagar Jain, Dong Lin, Lichan Hong, Ed H. Chi
https://arxiv.org/pdf/2008.13535.pdf
构建推荐系统的关键之一在于学习到有效的特征交叉。
但是,稀疏大规模特征空间中识别有效特征交互非常耗时。DCN可以自动并且高效学习限定度的预测性特征交互。在大规模流量的十亿级别的训练样本中建模时,DCN在学习预测性更强的特征交互时,交叉网络暴露出了它在表示性方面的局限性。虽然一些重要研究成果涌现出来,很多生产环境中的深度学习模型依然依赖传统前向传播神经网络来学习特征交互,这种方式并不高效。
基于DCN和现有特征交互学习方法的优缺点,作者们提出一种改进的框架,DCN-V2,这种改进可以使得DCN更适用于大规模工业界场景中。通过大量超参搜索和模型调优,作者们发现DCN-V2在比较流行的基准数据集上效果优于其它STOA算法。
改进的DCN-v2表达能力更强,在特征交互学习中也比较高效,尤其是跟低秩混合结构融合时。DCN-v2比较简单,很容易作为堆叠的块,在谷歌的很多大规模学习排序系统中不仅线下准确率有显著提升,而且线上业务指标也有显著提升。
这篇文章的主要贡献如下
相关模型主要有以下几种
作者们所提模型图示如下
其中堆叠式中,cross网络跟deep部分是串行的,并行式中,cross网络跟deep部分是并行的
嵌入层简介及特点描述如下
下面是cross网络简介
作者们所提出的cross网络图示如下
深层网络的表达式如下
目标函数形式如下
权重矩阵的奇异值变化趋势以及低秩专家的组合图示如下
在子空间中学习特征交互可以借助moe来实现
复杂度分析如下
作者们所提模型跟DCN的区别如下
跟dlrm和deepfm之间的关系如下
跟xdeepfm之间的关系如下
跟autoint的区别在于
跟pnn的关系如下
DCN DCN-V2和深度神经网络在人工数据集上的效果对比如下
DCN和DCN-V2对于不同的特征交互的阶效果对比如下
层数对DCN和DCN-v2的影响如下
数据集简介及分割策略如下
数据集信息统计如下
几种模型的关键表达式和目标函数形式对比如下
嵌入层单元数如何定,推荐方案如下
优化方法如下
下面是参数设置
几种模型的效果对比如下
多个模型的整体效果对比如下
其中几个模型的区别如下
不同的资源限制下,模型效果对比如下
层数以及矩阵的秩对模型效果影响如下
不同特征交互的重要性图示如下
不同模型在不同paper中效果汇总如下
我是分割线
您可能感兴趣
ADKDD2017|深度交叉网络DCN在广告点击预估中的应用
WWW2018|FwFM加权域分解机在CTR预估中的应用
WSDM2020|InterHAt分层注意力可解释CTR预估(已开源)
CIKM2019|Fi-GNN图神经网络学习特征交互在CTR预估中的应用(已开源)
CIKM2019|AutoInt自注意力神经网络自动学习特征交互(已开源)
WSDM2019|近似解耦随机游走RecWalk在top-N推荐中的应用(已开源)
CIKM2013|深层结构语意模型DSSM在web搜索中的应用
WSDM2019|社交注意力记忆网络在推荐系统中的应用(已开源)
SIGIR2020|基于序贯行为的高效迁移学习在用户建模及推荐中的应用(已开源)
WSDM2019|门限注意力自编码在内容感知推荐中的应用(已开源)
WWW2019|对偶图注意力网络在推荐系统中的应用(已开源)
KDD2019|个性化注意力在新闻推荐中的应用
SIGIR2020|序贯元学习方法在重新训练推荐系统中的应用(已开源)
WSDM2019|动态图注意力网络在基于会话的社交推荐中的应用
IJCAI2017|基于注意力机制的FM模型AFM在学习特征交互权重中的应用(已开源)
KDD2020|自动特征交互选择(AutoFIS)分解机模型在CTR预估中的应用(已开源)
SIGIR2020|LightGCN图卷积网络在推荐系统中的应用(已开源)
WWW2019|图神经网络在社交推荐中的应用
AAAI2019|自注意力度量学习在下一个商品推荐中的应用
WWW2020|基于隐含意图的注意力序列模型在下一个商品推荐中的应用
WWW2015|深度学习在推荐系统跨域用户建模中的应用
ICDE2020|多图卷积网络在草药推荐中的应用
ATM|注意力转移模型在预测下一个商品中的应用
IJCAI2019|深层自注意力网络在序列推荐中的应用
AAAI2020|深度学习在表格分析中的应用
NIPS论文系列|复数域RNN,深层生成模型,DRL在MDP中的应用(已开源)
AAAI2020|结合时空信息的分层注意力网络在大规模社交网络中的应用
ICDE2020|基于深度学习的关系抽取
只有正样本和无标签样本时如何构建分类器
ICDE2020|图卷积网络在价格感知推荐中的应用
WSDM2020|基于强化学习的多轮对话推荐系统(EAR, 即将开源)
WWW2020|如何利用未来数据协助训练基于会话的推荐(GRec)
ICML2018|基于自注意力的序列推荐模型SASRec(已开源)
IJCAI2018|分层时空LSTM在位置预测中的应用(HST-LSTM)
IJCAI2019|基于会话和注意力机制的CTR预估模型DSIN(已开源)
AISTATS2018|密歇根大学提出新型在线boosting算法用于多标签排序(已开源)
AAAI2020|一种新型高效兼容多行为的推荐系统模型EHCF(已开源)
ICML2007|深度学习用于协同过滤的开篇作之一(出自深度学习鼻祖之一Hinton)
SIGIR2019|基于BERT的深度学习模型在信息检索中的应用(已开源)
SIGIR2019|深度学习如何更好地用于学习排序(LTR)(已开源)