模型理解--对FM模型核心思想的理解

  在《深入FFM原理与实践》中提到：“所有二次项参数 $w_{ij}$ 可以组成一个对称阵 $W$，那么这个矩阵就可以分解为$W=V^{T}V$，$V$ 的第 $j$ 列便是第 $j$ 维特征的隐向量。换句话说，每个参数 $w_{ij}=⟨v_i,v_j⟩$，这就是FM的核心思想。”
  在POLY2模型中等式为：$$\hat{y}(x)=w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^n\sum _{j=i+1}^n{w}_{i,j}{x}_i{x}_j$$  在梯度下降时，偏导求解结果如下：
$$\frac{\partial }{\partial \theta }\hat{y}(x)=\{\begin{array}{ll}1& if\theta is{w}_0\\ x_i& if\theta is{w}_i\\ x_i{y}_i& if\theta is{w}_{ij}\end{array}$$  而在FM模型中等式为：$$\hat{y}(x)=w_0+\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^n\sum _{j=i+1}^n⟨v_i,v_j⟩x_i{x}_j$$  偏导结果为：
$$\frac{\partial }{\partial \theta }\hat{y}(x)=\{\begin{array}{ll}1& if\theta is{w}_0\\ x_i& if\theta is{w}_i\\ x_i{\sum }_{j=1}^n{v}_{j,f}{x}_j-v_{i,f}{x}_i^2& if\theta is{v}_{i,f}\end{array}$$  于是便会发现在POLY2模型中，如果训练数据过于稀疏，导致 $x_i{y}_i=0$ 的情况大量出现，那么在求解的时候 $w_{ij}$ 也会大量出现0，也就是虽然引进两两组合的特征，但是训练效果不好；但是在FM模型中则不会出现这个问题，FM能够抓住变量间的相互作用，并且时间复杂度为$O(kn)$。