深度模型（十）：ESMM

摘要

准确的估计CVR(点击后转化率)对于推荐和广告这类排序系统来说非常关键。传统的CVR模型采用流行的深度学习方法达到目前最好的效果。但是也遇到了一些问题。比如，传统的CVR模型采用点击后的数据训练，但是要在整体数据上做预测。这导致样本选择偏差问题。另外，还存在比较严重的数据稀疏问题。本文我们从一个全新的角度建模CVR预估问题，充份利用用户行为序列：曝光 -> 点击 -> 转化。ESMM（全量空间多任务模型）解决了采样偏差和数据稀疏的问题，通过1）在全量数据上直接建模CVR模型，2）引入特征表示迁移学习策略。

1.介绍

本文中，我们主要关注点击后CVR估计问题。为了简化问题，我们以电商系统中的推荐系统为例。给定推荐的物品，用户可能会点击感兴趣的物品，然后有可能会购买。用户的行为是线性的：物品报告->点击->转换。CVR模型的目标就是预测这曝光并且点击之后的转换概率:

$$pCVR=p(conversion|click,impression)$$

传统的CVR模型一般采用CTR类似的方法，比如最近流行的深度网络[2,3]。但是CVR预估问题中存在一些特有的问题。比如，关键的两个问题1).样本偏差(SSB)问题[12]。如下图所示：

传统的CVR模型在点击数据上进行训练，然后在整个数据上进行预测。SSB问题会严重影响模型的泛化能力。2).数据稀疏问题(DS)。CVR的训练数据会远小于CTR的数据量，DS使CVR模型的拟合更加困难。

一些研究试图解决这些问题。[5]采用联合不同特征上的多个分层模型解决数据稀疏问题。但是它依赖先验的知识来构建分层的结构。大规模的推荐系统上难以采用。过采样方法[11]拷贝稀有类型样本，可以降低数据稀疏的影响，但是对采样率比较敏感。AMAN（缺失值作为负样本）方法随机选择未点击数据作为负样本[6]，通过引入未被观察的样本可以一定程度的降低采样误差的问题，但是会导致估计值偏低的问题。无偏差方法[10]通过拒绝采样来拟合样本实际分布，但会遇到数值不稳定问题。总之，采样偏差和数据稀疏问题都没有被很好的解决。并且还没有一个方法利用了序列行为的信息。

本文中通过充分利用序列行为的信息，我们提出全量数据多任务模型，解决了样本偏差和数据稀疏的问题。ESMM中，存在两个辅助任务：曝光后的点击率预测CTR任务，和曝光点击后的转化率CTCVR预测任务。ESMM没有直接在点击数据上训练CVR模型，而是将pCVR作为中间变量，乘以pCTR得到pCTCVR.在用整体的样本拟合pCTCVR和pCTR。因此，推导得到pCVR适用于整体的样本。也就是说采样偏差问题解决了。另外，CVR和CTR的特征表示层的参数是共享的。后者是在更丰富的样本空间上训练的。这种迁移学习的方式帮助降低数据稀疏问题的影响。

2. 模型

2.1 定义

我们假设观察数据集合为$S=\{({\mathbf{x}}_i,y_i\to z_i)\}{|}_{i=1}^N$, 样本$(\mathbf{x},y,\to z)$按照某种分布$D$采样自域$X\times Y\times Z$。其中$X$为特征空间，$Y,Z$为标记空间，N为样本数量。$\mathbf{x}$表示观察样本的特征向量，通常是高维的稀疏向量[8].$y,z$是二值标签，表示是否点击或是否转化。

CVR模型的任务就是估计概率值$pCVR=p(z=1|y=1,\mathbf{x})$.相关的两个概率值为$pCTR=p(y=1|\mathbf{x})$和$pCTCVR=p(z=1,y=1|\mathbf{x})$,关系如下：

$$p(y=1,z=1|\mathbf{x})=p(z=1|y=1,\mathbf{x})p(y=1|\mathbf{x})$$

2.2 CVR建模和挑战

近期基于深度学习的方法在CVR估计问题上取得了目前最好的成绩。大部分的方法都采用了Embedding+MLP这样的结构模式[3].如下图的左边部分，我们称之为BASE模型.

传统的CVR模型直接估计$p(z=1|y=1,\mathbf{x})$,在点击样本$S_c=\{({\mathbf{x}}_j),y_j\to z_j\}{|}_{j=1}^M$上训练。其中$M$表示点击数据的数量。显然，$S_c$是$S$的一个子集。$S_c$当中没有转化的样本作为CVR模型的负样本。实际当中这种方式导致了几个问题：

• 采样偏差:实际上，传统的CVR模型采用了近似计算$p(z=1|y=1,\mathbf{x})\approx q(z=1|{\mathbf{x}}_c)$.引入一个辅助的特征空间$X_c$,相关的样本空间为$S_c$。通过这种方式，模型在空间$X_c$和训练集$S_c$上拟合$q(z=1|{\mathbf{x}}_c)$, 然后在$X$空间上预测$q(z=1|\mathbf{x})$，并假设对于任何样本$(\mathbf{x},y=1),x\in X$都满足$x\in X_c$。这个假设十分的牵强。实际上$X_c$是$X$的一个子集。并且，缺少足够的采样的情况下，$X_c$和$X$的差异非常大。这种问题会导致分布漂移问题，并严重的影响模型的泛化能力。

• 数据稀疏：传统的CVR模型在点击数据$S_c$上训练。点击时间本身就比较少，导致点击数据量比较稀疏。一般比CTR的训练数据少1-3个数量级。

2.3 ESMM

如上图2，ESMM借鉴了多任务学习[9]的思想，引入了CTR和CTCVR两个辅助任务。

整体上，ESMM同事输出pCTR,pCVR和pCTCVR.主要有两个子网络组成：左边的CVR网络和右边的CTR网络。两个子网络都采用BASE网络结构。

ESMM在全局空间建模CVR模型：

$$p(z=1|y=1,\mathbf{x})=\frac{p(z=1,y=1|\mathbf{x})}{p(y=1|\mathbf{x})}$$

其中$p(y=1,z=1|\mathbf{x})$和$p(y=1|\mathbf{x})$都是在集合$S$上训练。为了避免除法的数值计算不稳定性，ESMM将pCVR作为中间将上述等式转化了乘法形式。

ESMM的损失函数包含CTR和CTCVR两部分：

$$L({\theta }_{cvr},{\theta }_{ctr})=\sum _{i=1}^{N}l(y_i,f({\mathbf{x}}_i;{\theta }_{ctr}))+\sum _{i=1}^{N}l(y_i\&z_i,f({\mathbf{x}}_i;{\theta }_{ctr})\times f({\mathbf{x}}_i;{\theta }_{cvr}))$$

其中${\theta }_{ctr}$和${\theta }_{cvr}$分别表示CTR和CVR网络参数。$l$表示交叉墒损失函数。

并且在ESMM模型中，CVR与CTR网络共享embeding层参数，这种参数迁移的方式显著降低了CVR模型的数据稀疏问题。另外，ESMM中子网络可以替换为其他的模型[2,3]。