从一阶线性模型到FFM

前言

说到CTR,CVR预估，最近几年无论是kaggle比赛，还是推荐算法、计算广告中，使用FFM模型可以是一种标准通用的解决方案，因为传统的模型在遇到离散的类别特征时，一般都是想方设法将其连续化，如做Id Embedding等，而FFM模型原生支持处理稀疏的类别特征，而且擅长挖掘出特征间的交叉性质，不仅效果好而且时间复杂度也不高，因此具有较高的应用价值，在很多企业中有实际的应用。

本文以一阶模型作为引入，分析了为什么二阶模型是必要的，然后给出了具有实用性的二阶模型FM以及改良版的FFM，最后简要说明了一下FFM的实现思路。

1.从一阶Linear Model开始

假设我们有下图这样的推荐数据，对于第一行样本，我们用语言翻译：用户1在语境3下对物体2有一个点击行为(click=1)；这里，用户(user)，语境(context)和物体(item)都是特征，点击行为是label，我们要用一个模型去拟合这个label，使这个模型能够预测一个用户在某语境下对某物体的的点击率。最简单的模型为线性模型，即：
$$y=\sum _{i\in C}{w}_i{x}_i$$
其中，$C$为各特征中的非零项索引的集合，$x_i$为非零项对应的值，由于这里都是类别特征(Category Feature)，所以非零项$x_i$等于1，$w_i$ 为非零项对应的权值，是模型要学习的参数。我们把第一行数据带入式子得到图中的等式如下：

让我们分析一下线性模型的参数空间大小，假设我们一共只有10个用户，10种物体，10种语境，那么参数$W$由三个向量组成：$W_{user}$，$W_{item}$和$W_{context}$，每个向量的长度为10，向量中第$i$个元素的取值代表对应权值$x_i$，那么我们的参数空间一共是30。

这里只是一个最简单的例子，其实每个参数$x_i$也可以用一个长度为$k$的向量表示，那么$W_{user}$，$W_{item}$和$W_{context}$则分别为三个$10\times k$的矩阵。

2. 二阶模型(Degree-2 Polynomial Model)

前面一阶线性模型的缺点是无法挖掘特征之间的相关性，各个特征参数都是独立学习，而往往特征之间是有关联的，例如用户在中秋节的时候更容易对月饼发生点击或者购买行为，此时语境是中秋节，物体是月饼，当这两个条件同时满足时，点击更有可能发生。为了考虑特征之间的相关性，我们有了二阶模型，简单的二阶模型是一阶模型的直接扩展：参数只有在任意两个特征同时取值时才确定。二阶模型的表达为：

$$y=\sum _{j_1,j_2\in C}{w}_{j_1,j_2}{x}_{j_1}{x}_{j_2}$$
其中，$C$为任意两个特征中的非零项索引组合的集合，而$w_{j_1.j_2}$是某两个特征的非零项索引同时为$j_1$和$j_2$时的参数。同样，我们把第一行数据带入二阶模型如下图：

此时，二阶模型的参数扩展到了一个$N\times N$的矩阵$W$，$N$为所有特征取值空间的和，假设user，item，context都只有10个不同值，那么$N=30$，参数空间$N^2=900$。需要注意的是矩阵$W$为一个对称矩阵，这是因为我们并不区分两个特征的取值顺序，如$W_{user=1,item=2}=W_{item=2,use=1}$，这两个参数在矩阵中处于对称位置；而且同一特征的不同取值参数是没有意义的，如$W_{user=1,user=i},i\in N$是不存在的，一个用户不可能存在着两种取值，因此$W$矩阵中有一大半参数是无效的，如上图所示，我们把这些参数在矩阵中可以置为0，但是其参数空间复杂度仍然为$O(N^2)$。

3. Factorization Machines (FM)

简单二阶模型的缺点是：

1. 一个参数只有在两个特征同时取某数才会参与计算和更新，而对于不同的样本，要使两个特征的取值重复概率很小，导致$W$中大部分的位置由于样本中从未出现过而得不到计算和更新。
2. 在实际应用中，由于特征的取值有可能有几百万种，如用户的数量，导致$N$非常大，使矩阵$W$特别稀疏，去维护这样一个大矩阵储存开销太大。

为了解决这些问题，我们可以用类似矩阵分解的思路去解决：把矩阵$W$分解成两个小矩阵，用这两个小矩阵的相乘结果$\hat{W}$来近似$W$。具体来说，每个矩阵的元素$w_{j_1,j_2}$由两个向量$v_{j_1}$和$v_{j_2}$相乘表示，同样，我们用$C$代表任意两个特征中的非零项组合的集合，因此，FM模型能被表示为：
$$y=\sum _{j_1,j_2\in C}(v_{j_1}\cdot v_{j_2})x_{j_1}{x}_{j_2}$$

3.1 为什么FM能够避免简单二阶模型中的第一个问题呢？

我们用同样的例子给出了一个FM的计算如下图，我们可以发现：向量$v_{user=1}$在参数$W_{user=1,item=2}$和$W_{user=1,context=3}$中都参与了计算，导致$v_{user=1}$的更新条件变得宽松，只要是满足出现$W_{user=1,item/context}$的，$v_{user=1}$都能随之参与计算和更新，这个向量其实就代表了关于用户1的特征表达(feature representation)或者画像(profile)。

3.2 为什么FM能够解决简单二阶模型中的空间复杂度问题呢

FM中，矩阵$W$被拆分为了两个$N\times k$矩阵相乘，因此参数空间为$2\times N\times k$，但于$k$通常很小，远小于N，而且是一个常数，因此其空间复杂度降为了$O(N)$。这里的$k$是一个超参数，控制着信息压缩后的保留的程度：较小的$k$保留的信息少，但是计算快；较大的$k$保留的信息多，虽然计算慢，但模型效果和精度较好。

3.3 为什么矩阵$W$能够被拆解为两个小矩阵相乘呢?

为了回答这个问题，我们需要知道FM模型和矩阵分解之间的关系。我们知道，一个$N\times N$的方阵可以被分解为它的特征向量与特征值矩阵：$W=V\Sigma V^T$，其中$V$是标准化的特征向量$v_1,\dots ,v_N$组成的$N\times N$维矩阵，而$\Sigma$是主对角线为特征值${\lambda }_1,\dots ,{\lambda }_N$的$N\times N$维矩阵。FM在这里并没有采用所有的特征向量而是用了前$k$个特征向量（按照特征值大小排列），通常情况下，前10%甚至前1%的特征值就能占据全部特征值之和的99%，因此FM分解出的$V$矩阵（$N\times k$）计算出来的是真实$W$的一种近似: $W\approx \hat{W}=V{V}^T$。

还有一个问题是$\Sigma$去哪了呢？严格来说，FM的分解应该这么写$\hat{W}=V\hat{\Sigma }{V}^T$，此时$\hat{\Sigma }$是主对角线为前$k$个特征值的$k\times k$维矩阵，也是模型要学习的参数，其实乘以$\hat{\Sigma }$可以看做是对特征向量的伸缩变换，并不会改变其向量方向(因为它是一个主对角线才有非零值的矩阵)，因此每个特征向量经过了同样的伸缩变换后，其向量的相对位置并没有发生变化，相当于乘以了一个常数，所以最后计算出来的得分$y$的相对大小不会发生变化。个人猜测：正是因为，有时候我们并不关心预测出来的点击率最大是多少(绝对值)，而只关心哪个物体点击率最大(相对值)，因此这个$\hat{\Sigma }$经常被忽略

4. Field-aware Factorization Machines (FFM)

FM模型虽然有着不错的效果，但是在某种程度上来说它还是比较“粗糙”的。为什么呢？因为各向量的更新条件过于宽松，比如参数$W_{user=1,item=2}$和$W_{user=1,context=3}$都会让$v_{user=1}$参与计算和更新，这样有可能导致一个问题：若$W_{user=1,context=3}$出现的次数远大于$W_{user=1,item=2}$，那么用户向量的更新基本上被$W_{user=1,context=3}$主导，而覆盖掉$W_{user=1,item=2}$的更新。

出现这种情况的根本原因是由于各特征的取值分布不相同，这是我们无法避免的，那么一种改进版的FM可以解决这个问题：我们让向量的更新在特征间保持独立，具体来说，我们把$v_{user=1}$拆分成$v_{user=1,item}$和$v_{user=1,context}$两部分，当出现$W_{user=1,item=i},i\in N$时，我们让$v_{user=1,item}$参与计算和更新；当出现$W_{user=1,context=i},i\in N$时，我们让$v_{user=1,context}$这部分参与计算和更新，这样，关于这个用户向量的更新就在各个特征间独立开了，因此这个向量能够区分不同的特征，我们说它是Field-aware，这里的Filed就是指的特征，所以这个改进版方法就是Field-aware FM (FFM)。FFM的表达式为：

$$y=\sum _{j_1,j_2\in C}(v_{j_1,f_2}\cdot v_{j_2,f_1})x_{j_1}{x}_{j_2}$$
其中，$v_{j_1,f_2}$是$v_{j_1}$向量中与特征$v_{j_2}$向量交叉的那部分，下图给出了FFM模型计算的例子：

假设数据集中一共有M个特征，FFM把FM的参数空间扩展了$M-1$倍，因为此时的$V$矩阵为$N\times (M-1)k$维。在上图中，由于我们一共只有3域特征（用户，语境，物体），每个向量只需要拆分成两块分别于与其他两域特征交叉即可，若每块向量长度为k，那么$V$矩阵的维度为$N\times 2k$，参数空间是FM的两倍。

5.FFM 实现思路

无论是一阶、二阶、FM和FFM模型，其模型更新都可以使用梯度下降法，它的结构更像一个二维的一层神经网络，每次正向传播只有少部分非零的交叉特征所在的神经元是激活状态，反向传播的时候也只有这些激活的神经元参数得到更新。与标准的神经网络更新一样，对于回归任务，损失函数选用平方差误差；对于分类任务，选用交叉熵损失函数。

有了前面的介绍，我们已经知道了FFM的基本原理，那么如何进行高效地实现呢？其实非常简单，我们只需要维护一张非常大的哈希表，hash_key = feature_id + feature_value，对应的hash_value= weight_vector，其中，feature_id为特征所在的id，feature_value为此特征的值，举个例子，对于$v_{user=12,item}$，假设user特征id=12，此时的key为hash后的112（前面的1表示的是user特征，后面的12表示的是用户的id值），我们通过这个key在表中查到对应的权值向量，然后在这个向量中取出与item特征交叉的那部分向量即为$v_{user=1,item}$。

Reference

https://www.csie.ntu.edu.tw/~r01922136/slides/ffm.pdf

https://zhuanlan.zhihu.com/p/31386807

https://tech.meituan.com/2016/03/03/deep-understanding-of-ffm-principles-and-practices.html