RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET

FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction

Tongwen Huang, Zhiqi Zhang, Junlin Zhang

Sina Weibo Inc.

https://arxiv.org/pdf/1905.09433.pdf

在facebook,新浪微博这种互联网公司中,广告以及信息流排序至关重要。

很多实际广告和信息流排序系统中,点击率预估起着核心作用。关于点击率预估,现有的比较流行的模型包括了逻辑回归,基于树的模型,基于分解机的模型,还包括了基于深度学习的模型。

但是,很多现有工作计算特征交互的方式比较简单,比如内积等,这些方式对特征重要性没有过多关注。

这篇文章提出一种新的模型,FiBiNET,全称为Feature Importance and Bilinear feature Interaction NETwork,该模型能够动态学习特征重要性以及细粒度的特征交互。FiBiNET能够利用Squeeze-Excitation网络 (SENET)机制来学习特征重要性,而且,该网络能够利用双线性函数蓝学习特征之间的交互。

在两个真实数据集上的大量实验表明,这种浅层网络效果优于其他浅层模型,比如FM,FFM。为了进一步提升效果,将这种网络与经典的DNN结合得到一种深层模型。深层FiBiNET优于其他效果非常好的模型,比如DeepFM以及XdeepFM。

这篇文章的贡献如下

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第1张图片

这种新网络的组成描述如下

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第2张图片

整体结构图示如下

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第3张图片

embedding层的组成及维度描述及标记如下

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第4张图片

SENET流程描述如下

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第5张图片

SENET所对应的结构图示如下

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第6张图片

其中Squeeze的过程主要依赖于pooling操作

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第7张图片

excitation操作的描述如下

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第8张图片

该操作类似于自编码操作

reweight操作过程描述如下

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第9张图片

关于特征交互,本文的方法结合了内积和Hadamard积

图示如下

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第10张图片

特征交互又分为三种情况

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第11张图片

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第12张图片

各种情况下参数总数不同,第三种交互所需参数最多

连接层比较简单,将两个向量拼接起来

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第13张图片

几种模型之间的关系如下

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第14张图片

数据集描述及分割策略如下

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第15张图片

评价标准及特性如下

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第16张图片

实验环境及参数设置如下

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第17张图片

在浅层模型的效果对比如下

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第18张图片

在深层模型中效果对比如下

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第19张图片

不同的交互组合方式效果对比如下

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第20张图片

这里的不同组合解释示例如下

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第21张图片

不同的双线性交互效果对比如下

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第22张图片

针对embedding层大小,实验结果对比如下

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第23张图片

层数对模型效果影响如下

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第24张图片

隐含层单元数对模型效果影响如下

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第25张图片

不同成分的影响如下

RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET_第26张图片

其中BI SE分别对应双线性交互层以及SENET

640?wx_fmt=png


              smiley_12.png我是分割线smiley_12.png


您可能感兴趣

你可能感兴趣的:(RecSys2019|优于DeepFM和XDeepFM的CTR模型FiBiNET)