推荐系统遇上深度学习(一二零)-[微博]使用上下文信息来优化特征嵌入的CTR预估框架

今天给大家分享一篇来自微博的点击率预估论文,借鉴NLP领域的ELMO和Bert的思想,提出了一种使用上下文信息来优化特征嵌入的CTR预估框架,一起来看一下。

1、背景

特征交互的学习对于CTR预估模型来说是至关重要的。在NLP领域中的ELMO和Bert模型,通过单词在句子中的上下文环境来动态调整单词的embedding表示,取得了多项任务的效果提升。受到此思路的启发,论文提出了名为ContextNet的CTR预估框架,该框架可以基于样本信息对embedding进行优化,同时能够有效的建模特征之间的高阶交互信息。接下来,在第二节中对ContextNet进行详细介绍。

2、ContextNet介绍

2.1 整体介绍

ContextNet的整体结构如下图所示:

如上图所示,ContextNet包含两个主要的部分,分别为contextual embedding module 和 ContextNet block。contextual embedding module主要是对样本中的上下文信息(所有特征)进行聚合,并将这些上下文信息映射为与embedding同样长度的向量。 ContextNet block则是进行embedding合并和非线性变换。接下来,分别对这两部分进行介绍。

2.2 Feature Embedding

在介绍主要的两部分之前,简单介绍下特征embedding的处理,对于离散特征,首先转换为对应的one-hot向量,随后转换为对应的embedding,对于连续特征,这里采用的处理方式为field embedding,即同field的连续特征共享同一个embedding,并使用特征值进行缩放(更多关于对连续特征embedding的处理方式,可以参考本系列的第118篇文章)。

最终,特征embedding层的输出计作E

2.3 Contextual Embedding

前面也提到,contextual embedding module的主要作用包含两方面:对上下文信息进行聚合以及对聚合的上下文信息进行映射,得到每一个特征的contextual embedding。Contextual embedding module的网络结构如下图所示:

可以看到,主要包含了两层的网络,第一层可以看作是聚合层,第二层是映射层,用如下的数学公式进行表示:

Contextual embedding module针对每一个特征,都会得到一个对应的Contextual embedding,那么为了平衡参数数量和模型表达能力,对于聚合层的参数,采用参数共享的方式,而对于映射层的参数,则是每个特征都有其对应的单独的参数,有点类似于多任务学习中的share-bottom结构。

2.4 ContextNet Block

从模型的整体架构图可以看出,ContextNet包含多层的ContextNet Block,每一层的Block主要做两件事情:embedding合并和非线性变换。其数学表示如下:

上式中,Eil代表第l个ContextNet Block的输出,同时也是第l+1个ContextNet Block的输入,Eil+1代表第l+1个ContextNet Block的输出,CEil+1为第l+1层的Contextual embedding module的输出,也就是说,Contextual embedding module并不是只在第一层存在,而是每一层都有的(不过每一层的Contextual embedding module可以通过参数共享的方式来减少模型的参数)。

那么合并和非线性变换具体是如何实现的呢?首先来看embedding合并部分,这里采用的是Hadamard积的方式:

至于非线性变换,论文给出了两种实现方式,分别为point-wise feed-forward network(简称PFFN)和single-layer feed-forward network(简称SFFN).两种网络结构如下图所示:

首先来看下PFFN,对于输入的embedding首先经过两层全连接网络,第一层使用RELU进行激活,第二层之后则经过Layer Normalization和residual connection得到输出,计算公式如下:

再来看下SFFN,这里只需要经过一层全连接网络和Layer Normalization即得到最终的输出:

尽管SFFN从模型结构上来看比PFFN更加简单,但实际效果却比PFFN更好,在实验部分将给出具体数据。

3、实验结果

最后来看一下实验结果,与base模型相比,ContextNet在四个不同数据集上的AUC均取得了一定的提升,同时SFFN的效果要好于PFFN:

本文介绍就到这里,感兴趣的同学可以阅读原文~~

你可能感兴趣的:(推荐系统遇上深度学习(一二零)-[微博]使用上下文信息来优化特征嵌入的CTR预估框架)