推荐系统笔记7-Field-aware Factorization Machines for CTR Prediction

本文介绍Field-aware Factorization Machines for CTR Prediction，简称为FFM，其原文Paper传送门。

摘要

计算广告中CTR预估有着很重要的作用，其中二阶映射的FM常被使用，但提出的FFM在比赛中优于FM，因此引出FFM；

一、介绍

通常用LR处理分类问题，其模型是用来解决如下最优化问题：
$$\underset{w}{\min }\frac{\lambda }{2}{{\Vert w\Vert }_2}^2+\sum _{i=1}^m\log (1+\exp (-y_i{\varphi }_{LM}(w,x_i)))$$
在LR中$\varphi (w,x)=wx$且$\lambda$是正则化参数；其余的介绍同以前文章的介绍，就不展开叙述了，下面具体介绍FFM模型原理；

二、POLY2 和 FM模型

论文 “Training and testing low-degree polynomial data mappings via linear SVM" 提出二阶映射可以有效捕捉特征信息，其Poly2模型如下（为了偷懒，就直接截图了）：

其中$h(j_1,j_2)$是一个将$j_1和j_2$编码到自然数的函数，其时间复杂度为$O({\bar{n}}^2)$，$\bar{n}$是每个实例平均的非0元素个数；
FM是一个对每个特征学习隐层向量的模型，假设每个特征映射为k维隐层向量，其计算公式如下：

变量的数目是$n\times k$，所以直接计算的时间复杂度是$O({\bar{n}}^{2}k)$，重写上面的公式为：$${\varphi }_{FM}(w,x)=\frac{1}{2}\sum _{j=1}^n(s-w_j{x}_j)\cdot w_j{x}_j$$其中 $s=\sum _{j=1}^n{w}_j{x}_j$，此时时间复杂度变为$O(\bar{n}k)$；为什么FM要优于Poly2呢？见该文章开头部分。

三、 FFM

FFM引进了field的概念，如下表所示：

可以分为两个field，其中Publisher包含ESPN、Vogue、NBC，Advertiser包含Nike，Adidas等；FFM就是FM的一个变种，利用了上述field的信息；为了解释FFM，考虑下面一个例子：

对于FM来说，$\varphi (w,x)=w_{ESPN}.w_{Nike}+w_{ESPN}.w_{Male}+w_{Male}.w_{Nike}$，其中$w_{ESPN}$可以通过$w_{ESPN}.w_{Nike}和w_{ESPN}.w_{Male}$来学习出它的向量，但是有个问题是，Male和Nike是不同的field，可能存在不同，所以FFM的公式定义为：$\varphi (w,x)=w_{ESPN,A}.w_{Nike,P}+w_{ESPN,G}.w_{Male,P}+w_{Male,A}.w_{Nike,G}$，上式中$w_{ESPN,A}$学习（ESPN,NIKE）是因为Nike属于field广告，将上述公式化为：$${\varphi }_{FFM}(w,x)=\sum _{j_1=1}^n\sum _{j_2=j_1+1}^n(w_{j_1,f_2}\cdot w_{j_2,f_1})x_{j_1}{x}_{j2}$$其中$f_1和f_2$是$j_1和j_2所属的field$，那么FFM的参数为$nfk$，通常$k_{FFM}<<k_{FM}$，下表列举LM、Poly2、FM、FFM的参数和复杂度对比：

3.1、 Solving the Optimization Problem

使用AdaGrad算法来求解参数，具体过程如下所示：
1、随机采样一个点$(y,x)$来更新参数，计算次梯度，并且只用计算非0值输入对应的参数，其梯度的计算如下所示：

2、对每个坐标$d=1,...,k$，累计梯度的平方和：$$({\mathrm{G}}_{j1,f2}{)}_d\leftarrow ({\mathrm{G}}_{j1,f2}{)}_d+({\mathrm{g}}_{j1,f2}{)}_d^2(7)$$$$({\mathrm{G}}_{j2,f1}{)}_d\leftarrow ({\mathrm{G}}_{j2,f1}{)}_d+({\mathrm{g}}_{j2,f1}{)}_d^2(8)$$
3、最后，$(w_{j1,f2}{)}_d和(w_{j2,f1}{)}_d$由如下公式更新：$$(w_{j1,f2}{)}_d\leftarrow (w_{j1,f2}{)}_d-\frac{\eta }{\sqrt{{({\mathrm{G}}_{j1,f2})}_d}}({\mathrm{g}}_{j1,f2}{)}_d(9)$$ $$(w_{j2,f1}{)}_d\leftarrow (w_{j2,f1}{)}_d-\frac{\eta }{\sqrt{{({\mathrm{G}}_{j2,f1})}_d}}({\mathrm{g}}_{j2,f1}{)}_d(10)$$其中$\eta$是学习速率，由公式可以看出，学习速率可以自适应调整；具体的步骤如下所示：

3.3 Adding Field Information

对于FFM的输入格式，参考LibSVM输入格式， $lablefeat:val1feat:val2...$，将FFM定义为： $lablefield1:feat:val1field2:feat:val2...$，下面考虑几种典型的输入特征：
类别特征： 对于线性模型，一般将类别特征One-hot处理， 假设一个例子为
$YesP:ESPNA:NikeG:Male$
那么LibSVM的格式为：
$YesP-ESPN:1A-Nike:1G-Male:1$
对于One-hot来说，只有其中之一为1，其余为0，为了增加field的信息，可以考虑将一个类别作为一个field，那么其格式应为：
$YesP:P-ESPN:1A:A-Nike:1G:G-Male:1$
数值特征： 考虑下面的输入例子，也就是预测一篇文章是否能被会议接受：

一种比较简单的表示方法是将每个特征作为一个虚拟field，所以数据格式为：
$YesAR:AR:45.73Hidx:Hidx:2Cite:Cite:3$，但是这个存在问题：因为是数值型的，所以很少存在重复值；另一种方法就是先将连续值离散化，然后应用上面的类别特征表示方法，如：
$YesAR:45:1Hidx:2:1Cite:3:1$，也就是将AR特征变为一个整数，但是这个也有问题：对于45.73，是45.7合适？45合适？40合适？甚至$int(log(45.73))$，这种离散化方法丢掉了一些信息；
只有一个field的特征: 也就是所有特征属于一个field，这在NLP数据集中经常出现，如：

在上面这个例子中仅有field为sentence，如果我们将这个field分配所有的word，那么FFM就变为FM了；

4. EXPERIMENTS

作者发现FFM对于epoch的次数很敏感，所以使用了earlystoping方法；使用Kaggle比赛中的Criteo和Avazu数据集，如下所示：

定义logloss公式为：
$$\log loss=\frac{1}{m}\sum _{i=1}^m\log (1+\exp (-y_i\varphi (w,x_i)))$$其中m是测试集个数；
首先观察不同参数的影响，$k$(隐藏向量维度)、$\lambda 、\eta$，如下图所示(图中结果是针对测试集的)：

图中表明K值影响不大，$\lambda$不能过大或者过小，$\eta$也是如此；
Early Stopping： 将数据集划分为测试集+验证集，在一个epoch后，计算验证集的Logloss，如果增大了，要么停止训练，要么用所得到的epoch数，重新用整个数据集训练一次；
但是存在一个问题：验证集误差最低，测试集不一定啊，作者考虑了其他方法来避免过拟合：如lazy update 和 ALS-based optimization methods，但结果表明没有使用验证集的EarlyStoping方法好；
最后给出一张不同模型的对比结果表：

证明FFM效果还是可以的。