【推荐系统】FM，FFM和DeepFM

FM (Factorization Machines)

假设有$n$个特征：

多项式模型
$$y(x)=w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^n\sum _{j=i+1}^n{w}_i{w}_j{x}_i{x}_j$$
其中，$n$ 代表样本的特征数量，$x_i$ 是第$i$个特征的值，$w_0,w_i,w_j$ 是模型参数。

• 组合特征的参数一共有 $n(n-1)/2$ 个，任意两个参数都是独立的
• 在数据稀疏性普遍存在的实际应用场景中，二次项参数的训练是很困难的
  • 其原因是，每个参数 $w_{ij}$ 的训练需要大量 $x_i$ 和 $x_j$ 都非0的样本；由于样本数据本来就比较稀疏，满足 $x_i$ 和 $x_j$ 都非0 的样本将会非常少。训练样本的不足，很容易导致参数 $w_{ij}$ 不准确，最终将严重影响模型的性能。

FM model
$$y(x)=w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^n\sum _{j=i+1}^n<v_i,v_j>x_i{x}_j$$

• 所有二次项系数组成一个对称阵 $W$
• 利用矩阵分解：
  • $W\approx V^{T}V,W\in R^{n\times n},V\in R^{k\times n}$
  • $w_{ij}=<v_i,v_j>={\sum }_{f=1}^k{v}_{if}{v}_{jf}$
  • $v_i$ 是第 $i$ 维特征的隐向量，$⟨\cdot ,\cdot ⟩$ 代表向量点积，隐向量的长度为 $k（k<<n)$，包含 $k$ 个描述特征的因子
  • 二次项的参数数量减少为 $kn$个，远少于多项式模型的参数数量
  • 参数因子化使得 $x_h{x}_i$ 的参数和 $x_i{x}_j$ 的参数不再是相互独立的，因此我们可以在样本稀疏的情况下相对合理地估计 $FM$ 的二次项参数。
    • $x_h{x}_i$ 和 $x_i{x}_j$的系数分别为 $⟨v_h,v_i⟩$ 和 $⟨v_i,v_j⟩$，它们之间有共同项 $v_i$。也就是说，所有包含 “ $x_i$ 的非零组合特征”（存在某个 $j\ne i$，使得 $x_i{x}_j\ne 0$）的样本都可以用来学习隐向量 $v_i$，这很大程度上避免了数据稀疏性造成的影响
    • 而在多项式模型中，$w_{hi}$ 和 $w_{ij}$ 是相互独立的

直观上看FM的算法复杂度是$O(k{n}^2)$，但是通过公式转换，可以将复杂度优化到$O(kn)$，具体如下：
$$ab+bc+ac=\frac{1}{2}((a+b+c{)}^2-(a^2+b^2+c^2))$$
$$\begin{array}{rl}\sum _{i=1}^n\sum _{j=i+1}^n<v_i,v_j>x_i{x}_j& =\frac{1}{2}(\sum _{i=1}^n\sum _{j=1}^n<v_i,v_j>x_i{x}_j-\sum _{i=1}^n<v_i,v_i>x_i{x}_i)\\ & =\frac{1}{2}(\sum _{i=1}^n\sum _{j=1}^n\sum _{f=1}^k{v}_{if}{v}_{jf}{x}_i{x}_j-\sum _{i=1}^n\sum _{f=1}^k{v}_{if}{v}_{if}{x}_i{x}_i)\\ & =\frac{1}{2}(\sum _{f=1}^k(\sum _{i=1}^n{v}_{if}{x}_i\sum _{j=1}^n{v}_{jf}{x}_j-\sum _{i=1}^n{v}_{if}^2{x}_i^2))\\ & =\frac{1}{2}(\sum _{f=1}^k((\sum _{i=1}^n{v}_{if}{x}_i{)}^2-\sum _{i=1}^n{v}_{if}^2{x}_i^2))\end{array}$$
FM模型可以表达为：
$$y(x)=w_0+\sum _{i=1}^n{w}_i{x}_i+\frac{1}{2}(\sum _{f=1}^k((\sum _{i=1}^n{v}_{if}{x}_i{)}^2-\sum _{i=1}^n{v}_{if}^2{x}_i^2))$$
利用$SGD$:
$$\begin{array}{rl}\frac{\partial y}{\partial w_0}& =1\\ \frac{\partial y}{\partial w_i}& =x_i\\ \frac{\partial y}{\partial v_{if}}& =\frac{1}{2}\frac{\partial ({\sum }_{f=1}^k[({\sum }_{i=1}^n{v}_{if}{x}_i{)}^2-{\sum }_{i=1}^n{v}_{if}^2{x}_i^2)]}{\partial v_{if}}\\ & =\frac{\partial [(v_{1f}{x}_1+v_{2f}{x}_2+\cdots +v_{if}{x}_i+\cdots +v_{nf}{x}_n{)}^2-(v_{1f}^2{x}_i^2+\cdots +v_{if}^2{x}_i^2+\cdots +v_{nf}^2{x}_n^2)]}{2\partial v_{if}}\\ & =x_i\sum _{j=1}^n{v}_{jf}{x}_j-v_{if}{x}_i^2\end{array}$$

FFM (Field-aware Factorization Machines)

• 通过引入 field 的概念， FFM 把相同性质的特征归于同一个 field。
  • 在FFM中，每一维特征 $x_i$，针对其它特征的每一种 field $f_j$，都会学习一个隐向量 $v_{i,f_j}$
  • 因此，隐向量不仅与特征 $x_i$ 相关，也与 field 相关，这也是FFM中“Field-aware”的由来
  • 设样本一共有 $n$ 个特征, $f$ 个 field，那么每个特征有 $f$ 个隐向量，FFM的二次项有 $n\times f$ 个隐向量
  • 而在FM模型中，每一维特征的隐向量只有一个。FM 可以看作 FFM 的特例，是把所有特征都归属到一个 field 时的 FFM 模型。

FFM的模型方程如下：
$$y(x)=w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^n\sum _{j=i+1}^n<v_{i,f_j},v_{j,f_i}>x_i{x}_j$$

• 其中，$f_j$ 是 $x_j$ 特征所属的 field
• 如果隐向量的长度为 $k$，那么FFM的二次参数有 $n\times f\times k$ 个，远多于FM模型的 $n\times k$ 个
• 此外，由于隐向量与field相关，FFM二次项并不能够化简，时间复杂度是 $O(k{n}^2)$。
• 需要注意的是由于FFM中的latent vector只需要学习特定的field，所以通常: $k_{FFM}<<k_{FM}$
  

DeepFM

论文地址：https://arxiv.org/abs/1703.04247
可以参考：【通俗易懂】手把手带你实现DeepFM: https://cloud.tencent.com/developer/article/1450677

• FM 的线性部分可以用embedding_size=1实现
• 二阶部分的embedding相当于latent vector, 并且这部分DNN和FM共享

参考资料

FM和FFM:
美团技术点评：深入FFM原理与实践
简书/推荐算法：FM算法原理与实践
CTR预估算法之FM, FFM, DeepFM及实践
机器学习算法系列（26）：因子分解机（FM）与场感知分解机（FFM）

DeepFM: https://github.com/ChenglongChen/tensorflow-DeepFM
DeepFM模型CTR预估理论与实战