推荐系统遇上深度学习(一一九)-[百度]结合门控机制的多任务学习模型GemNN

今天分享的百度在SIGIR2021上中稿的一篇short paper，论文提出了结合门控机制的多任务学习模型（Gating-Enhanced Multi-Task Neural Networks，简称GemNN），一起来看一下。

1、背景

工业界的点击率预估一般遵循由粗到细的模式，如从召回到粗排再到精排的范式，每经过一步，候选集的范围会被逐渐缩小。而对于广告系统来说，不仅广告内容本身会影响用户的点击行为，广告的物料类型（展现样式）同样会对点击率造成影响。

论文主要介绍了目前百度在CTR预估上的比较新的工作，主要介绍了如何在这种由粗到细的任务（具有上下游关系的任务上）应用多任务学习，同时如何应用门控机制实现特征交互的学习，具体细节在第二节中进行展开。

2、GemNN介绍

2.1 多任务模型介绍

首先介绍下本文的涉及的三个任务：

1）User-ad ranking (UAR)：这是最上游的任务，基于召回阶段得到的广告集合，产生一个更小的广告集合，用于下游任务。
2）Ad-mt matching (AMM)：这个可以看作是中游任务，基于UAR阶段给出的广告候选集，选择每个广告最可能被点击的物料。
3）User-ad-mt ranking (UAMR)：这是最下游的任务，基于UAR任务给定的广告候选集和AMM任务给定的对应物料，使用更多的特征来对广告进行精确的排序，最终展现给用户。

三个任务具有上下游关系，具有相互的联系，如何通过多任务学习来优化呢？多任务模型的结构如下图所示：

可以看到，对于UAR和UAMR任务来说，采用的是Embedding + MLP的结构，而对于AMM任务来说，由于一个广告对应多组物料，采用的是双塔结构，而物料塔可以进行提前的计算来减少线上的耗时。

不同于之前介绍的多任务学习模型，之前介绍的多任务学习模型任务之间大都是并行关系的，如CTR／CVR预估，同时其输入是可以共享的，但是本文所提到的多任务之间是具有上下游关系的，同时不同任务之间的的输入也是不相同的（越下游的任务输入特征更充分）。那么如何做到不同任务之间的信息共享呢？论文设计了一种新的信息共享机制，如上图所示，论文将UAR任务第一层MLP的输出和预估值共享给了AMM和UAMR任务，第一层MLP的输出以及最终的ctr预估值包含了用户和广告特征的交互信息，也减少了下游模型对于这部分信息的建模。值得一提的是，在多任务模型训练时，MLP的输出是被多个任务联合训练的，但是ctr预估值是只会被UAR任务所训练。

2.2 GemNN介绍

在上一节所介绍的多任务学习模型的基础上，进一步使用门控机制来控制流向后续网络的信息。这里，在Embedding层和MLP层之间，以及不同的MLP层之间都使用了门控机制，具体如下图所示：

3、实验结果及分析

最后看一下实验结果，首先在不同的任务上，GemNN都取得了比对照模型更好的离线AUC结果：

在消融实验方面，在不使用门控或不使用多任务学习时，GemNN效果都有一定的下降：

好了，本文就介绍到这里，也是第一次看到在这种具有上下游关系的任务上使用多任务学习模型的论文，还是对思路有所启发的。感兴趣的同学可以阅读原文～