推荐系统遇上深度学习(六十四)-通过自注意力机制来自动学习特征组合

本文要介绍的论文题目是《AutoInt: Automatic Feature Interaction Learning via Self-A entive Neural Networks》
论文下载地址为:t.cn/AipG8aXz

这篇文章使用Multi-Head self-Attention进行自动的特征提取,整体思路相对而言比较简单易懂,但是论文结构比较完整。除介绍论文外,最后本文介绍了如何使用Python绘制热力图,一起来看一下吧。

1、背景

点击率预估问题对推荐系统来说比较重要,但是目前存在许多挑战:
1)特征数量巨大,离散特征多,存在特征稀疏问题。
2)高阶特征组合对于提升点击率预估的性能至关重要,但发现一些有实际意义的特征组合需要依靠专业知识,这一过程费时费力,需要通过模型自动去学习高阶特征组合。
3)现有的方法如FM,它只能学习低阶的特征组合,而DeepFM等通过神经网络的方法往往进行隐式的特征组合,缺乏一定的可解释性。

基于上述问题,本文提出了AutoInt,通过目前比较火热的Multi-Head Attention来自动进行特征组合。一起来看一下。

2、AUTOINT框架

2.1 整体框架

AUTOINT框架的整体框架比较简单,如下图:

接下来,我们逐层进行介绍。

2.2 输入层

这里咱们的目标是预测用户u点击某个物品i的概率,因此输入层包含用户相关的特征和物品相关的特征:

上面的M是特征域的个数,一个离散特征和一个连续特征都属于一个单独的特征域。

2.3 Embedding层

在Embedding层,我们对三种不同的特征分别进行了处理,这三种特征分别是单值离散特征、多值离散特征和连续特征。

对于单值离散特征,直接通过Embedding词表得到对应的Embedding表示:

对于多值离散特征,通过Embedding词表得到对应Embedding之后,还需要通过avg-pooling的方式对同一个field的Embedding进行平均:

上面的q就是多值离散特征中取值的个数。对于离散特征来说,上面的xi是one-hot向量或者multi-hot向量,取值非0即1,而对于连续特征,直接就是一个标量,我们将标量的取值直接与其对应的Embedding相乘:

2.4 交互层

交互层是Transformer的encoder部分,由多层进行堆叠来学习特征之间的高阶组合。Transformer中最重要的是multi-head attention,其简单的示意图如下:

有关Transformer,咱们这里也不讲了,可以参考之前的文章。

2.5 输出层

输出层的计算公式如下:

首先将交互层得到的输出进行对位相加,然后经过一层全连接层并进行sigmoid变换得到点击率的预估值。

而模型的损失采用的是logloss:

2.6 特征组合学习

接下来,我们来解释一下,模型是如何来学习高阶特征之间的组合的。假设我们有4个field的输入,分别是x1、x2、x3、x4。这里重点介绍二阶和三阶特征组合。

二阶特征组合

在第一层的交互层,通过attention map我们可以学习不同特征的相关性,并通过加权求和的方式进行组合。假设第一个field的输出为e1,e1中就包含了第一个field和4个field之间的交互。

三阶特征组合

对于三阶特征组合,在第二层的交互层就可以学习到。我们知道,在transformer中encoder的每一个block中,存在residual connection的过程,这样输出e1中不仅包含了第一个field和其他field组合的信息,还包含第一个field自身的信息,这样在与e3(第三个field在第一个交互层的输出)进行multi-head attention时,就可以得到第一个field和第二三个field的交互结果。

3、实验结果

3.1 实验结果分析

文中使用了不同的数据集,与一些base模型进行了效果的对比,结果如下:

可以看到,AutoInt在所有的数据集上,AUC都是最优的。

3.2 可解释性分析

最后再来看看如何对推荐过程中的特征组合进行一定的解释性分析,这主要需要观察multi-head attention过程中的attention map:

上图中,左边是针对一条电影推荐数据的结果,对于该条数据,通过attention map可以得到的结论是18-24岁的年轻人比较喜欢看恐怖片或者动作片。

而右图是对所有训练数据集中对应field的attention score的一个平均值,可以看到性别和电影类别、年龄和电影类别等都具有更高的相关性。

4、Python绘制热力图

论文整体上就介绍完了。有一说一,整体上的创新点不是很足,不过相比于其他的论文,对于特征组合的构建、以及可解释性的分析比较充分,论文结构相对来说更加完整。最后,咱们也一起来学习一下3.2节中提到的热力图的绘制:

import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np

# cmap(颜色)


np.random.seed(20180316)

x = np.random.randn(4, 4)

f, (ax1, ax2) = plt.subplots(figsize=(6,6),nrows=2)

sns.heatmap(x, annot=True, ax=ax1)

sns.heatmap(x, annot=True, ax=ax2, annot_kws={'size':9,'weight':'bold', 'color':'blue'})

plt.show()

上面结果的如下:

其中,最重要的函数是sns.heatmap函数,这里我们用到了四个参数,第一个参数是我们的输入数据,也就是热度矩阵,这里是4*4大小的;第二个参数是annot,代表是否要标注热力值大小,默认为false;第三个参数ax是指定我们的画布;第四个参数annot_kws是对显示的字体进行一定的设定。

好了,今天就到这里了,大伙假期注意劳逸结合哇!

你可能感兴趣的:(推荐系统遇上深度学习(六十四)-通过自注意力机制来自动学习特征组合)