FM和FFM原理

模型用途

FM和FFM,分解机,是近几年出的新模型,主要应用于广告点击率预估(CTR),在特征稀疏的情况下,尤其表现出优秀的性能和效果,也数次在kaggle上的数据挖掘比赛中拿到较好的名次。

FM原理

特征编码时常用的one-hot编码,会导致特征非常稀疏(很多0值)。常用的特征组合方法是多项式模型,模型表达式如下:

y(x)=w0+i=1nwixi+i=1nj=i+1nwijxixj

其中 xi 表示第i列特征, n 表示特征数, w0,wi,wij 为模型参数。模型参数为 n2 个。在对模型进行训练时,采用SGD(随即梯度下降),由于特征较稀疏,大部分 wij 的梯度值为0,那么参数 wij 的值就不准确,会影响模型的效果。
FM模型,将参数 wij 对应的矩阵 W ,利用矩阵分解表示为 W=VTV , 矩阵 V Rk×n , 可以通过调节k来调节模型的泛化能力。
FM和FFM原理_第1张图片
FM模型则表示为:
y(x)=w0+i=1nwixi+i=1nj=i+1n<vi,vj>xixj

模型参数减少为kn个。训练方法还是采用SGD,在预测时,可以通过下式将计算复杂度从 O(kn2) 降低为 O(kn)
i=1nj=i+1n<vi,vj>xixj=12f=1k((i=1nvi,fxi)2i=1n(vi,fxi)2)

FFM 原理

FFM模型是在FM特征组合的基础上给特征加上了field属性,于是模型表示为

y(x)=w0+i=1nwixi+i=1nj=i+1n<vi,fj,vj,fi>xixj

其中 fi 表示特征i所属的field,需要训练的 V n×k×f , f 为field的个数,具体案例见 ppt
由于FFM加入field,使得训练和预测过程参数计算不能简化,复杂度为 O(kn2)

参考文献

  1. http://tech.meituan.com/deep-understanding-of-ffm-principles-and-practices.html
  2. ffm源码git

你可能感兴趣的:(机器学习算法)