推荐系统遇上深度学习(八十六)-[腾讯&微博]GateNet:使用门机制提升点击率预估效果

本文介绍的论文是《GateNet:Gating-Enhanced Deep Network for Click-Through Rate Prediction》
下载地址为：https://arxiv.org/pdf/2007.03519.pdf

1、背景

深度学习在CTR预估中已经有了广泛的应用。在深度学习模型中，大都包括embedding layer和MLP hidden layers。同时，门机制（gating mechanism）在CV和NLP领域也有广泛的应用，最为大家熟知的就是在LSTM和GRU中的应用。

关于门机制的介绍，大家可以参考张俊林老师（同时也是本文介绍的论文的作者之一）下面的博文：https://blog.csdn.net/malefactor/article/details/51183989#0-tsina-1-86888-397232819ff9a47a7b7e80a40613cfe1

一些实验证明门机制可以提升非凸深神经网络的可训练性，那么将门机制应用在深度学习CTR预估模型中，会碰出怎样的火花呢？本文介绍的便是二者的结合：GateNet。

2、GateNet介绍

推荐系统中常用的深度学习模型入Wide & Deep，YoutubeNet，DeepFM等，可以看到这些模型都包括embedding layer和MLP hidden layers，那么将门机制和这两种layer相结合，便产生了Feature Embedding Gate和Hidden Gate，接下来对二者分别介绍。

2.1 Feature Embedding Gate

Feature Embedding Gate主要是在embedding layer增加门机制，用于从特征中选择更为重要的特征。如果模型中带有Feature Embedding Gate，其网络结构如下图所示：

假设输入的离散特征，经过Embedding layer得到E=[e₁,e₂,e₃,...,e_i,...e_f]，其中f代表特征域的个数，e_i代表第i个域的embedding向量，长度为K。

接下来，embedding向量会通过Feature Embedding Gate进行转换。首先，对每一个embedding向量，通过下面的公式来计算门值g_i，代表该向量的重要程度：

然后，将embedding向量e_i和门值g_i计算哈达玛积，得到ge_i，并得到最终的输出GE。

上面只是对Feature Embedding Gate的一个概要介绍，其具体的做法包括多种，比如输出的g_i是一个跟e_i同样长度的向量，那么此时我们称门为bit-wise gate，如果输出的g_i是一个值，那么此时称门为vector-wise gate。二者的区别如下：

另一种就是是否所有的域都用同一个参数矩阵W，如果每个域的参数矩阵都不相同，那么我们称之为field private，如果所有域的参数矩阵相同，我们称之为field sharing。

那么bit-wise gate和vector-wise gate，field private和field sharing哪种效果更好呢，在实验部分告诉你答案。

2.2 Hidden Gate

Hidden Gate主要是在MLP中增加门机制，用于选择更加重要的特征交互传递到更深层的网络。如果模型中带有Hidden Gate，其网络结构如下图所示：

假设a^(l)是第l层隐藏层的输出：

接下来将a^(l)输入到hidden gate中，计算方式如下：

好，Feature Embedding Gate和Hidden Gate的介绍就到这里了，接下来看下实验部分。

3、实验结果

首先来看下在网络中单独加入Feature Embedding Gate的效果：

可以看到，加入Feature Embedding Gate后，在多个模型以及多个数据集中都取得了更好的AUC。

接下来回答前文提出的问题，field private和field sharing，以及bit-wise gate和vector-wise gate哪种效果更好。实验结果如下：

可以看到，field private的结果是明显好于field sharing的，但在不同的数据集中，bit-wise gate和vector-wise gate表现有所差异。

然后看下在MLP中加入Hidden Gate的效果，加入Hidden Gate后AUC也有一定的提升：

最后看下将两种gate进行结合的效果：

可以看到，同时加入两种gate，效果并没有比单独只加一种gate更好，具体的原因有待进一步实验。

好了，本文就介绍到这里了，对原文感兴趣的可以自行阅读。