KDD2021|华为提出对偶图增强embedding神经网络DG-ENN用于CTR预估

Dual Graph enhanced Embedding Neural Network for CTR Prediction

Wei Guo, Rong Su, Renhao Tan, Huifeng Guo, Yingxue Zhang, Zhirong Liu, Ruiming Tang, Xiuqiang He

Huawei Noah’s Ark Lab

https://arxiv.org/pdf/2106.00314.pdf

点击率预估，目的是预测用户点击某个商品的概率，在在线广告和推荐系统中起着至关重要的作用。基于特征交互建模的以及用户兴趣挖掘的方法是两种最流行的方法，这两种方法学者们已经研究了很多年，并且在点击率预估中取得了重大进展。

然而，基于特征交互的方法严重依赖不同特征的共现频次，这就会遇到特征稀疏的问题，所谓特征稀疏即很多特征很少出现。基于用户兴趣挖掘的方法需要丰富的用户行为，进而得到用户的多种兴趣，这种方法容易遇到行为稀疏的问题，很多用户的行为序列都是比较短的。

为解决以上问题，作者们提出一种新颖的模块，对偶图增强embedding，该模块可以跟很多点击率预估模型融合，进而解决以上两个问题。作者们还提出一种对偶图增强embedding神经网络，DG-ENN，用于点击率预估。

对偶图增强embedding利用图表示的优势，结合两种精心设计的学习策略，分而治之，课程学习激发的有组织学习，进而可以完善embedding。

作者们在三个真实工业界数据集上进行了充分的实验。实验结果表明，作者们所提出的DG-ENN效果显著优于STOA点击率预估模型。此外，用于STOA点击率预估模型时，对偶图强化embedding通常可以取得更好的效果。更多案例研究证明，作者们所提出的对偶图强化embedding可以缓解特征稀疏和行为稀疏的问题。

作者们将点击率预估模型分为以下两类

特征频次以及行为长度的分布图示如下

容易看出共现特征数比较少，行为长度较长的数量较少

这篇文章的主要贡献如下

对特征交互进行建模的算法有以下几种

对用户兴趣进行建模的算法有以下几种

用于推荐的图网路主要有以下几种算法

作者们所提出的dg-enn结构图示如下

作者们在以下三个数据集上进行了实验

数据集预处理方式如下

数据集信息统计如下

参与对比的模型和模型衡量指标如下

参数设置如下

几种算法的效果对比如下

对偶图embedding在几个模型上的作用如下

对偶图卷积的作用如下

对偶图构建对模型效果影响如下

不同的聚合算法对模型的效果影响如下

属性信息利用方式对模型效果影响如下

不同的协同信号利用方式对模型效果影响如下

作者们所提模型可以较好处理特征稀疏和行为稀疏的问题

---

              我是分割线

---

您可能感兴趣

KDD2021|因果模型在实时竞价重复曝光次数中的应用

雅虎联合阿里提出转化率预估实用框架并用于在线展示广告

IJCAI2020|京东联合香港理工提出基于点击校准的注意力模型用于时延归因转化率预估

WSDM2022|阿里联合中科院提出特征协同作用网络CAN用于点击率预估(已开源)

WSDM2022|阿里提出合约广告自适应统一分配框架AUAF(已开源)

ICDM2019|阿里提出大规模个性化分发实时平滑算法并用于合约展示广告

微软提出实时竞价算法并用于效果展示广告分配

淘宝展示广告中的优化点击成本算法

在线定向广告中的预算控制算法

KDD2021|清华联合雅虎|斯坦福大学|纽约大学提出竞价隐藏算法MEOW