FM与FFM的区别

FM与FFM

FM旨在解决稀疏数据下的特征组合问题,具有线性的计算复杂度;矩阵分解方式处理参数,不仅能减少参数数量,还能处理由于稀疏性带来的参数不好训练的问题一般的线性模型压根没有考虑特征间的关联(组合)。为了表述特征间的相关性,我们采用多项式模型。观察大量的样本数据可以发现,某些特征经过关联之后,与label之间的相关性就会提高。例如,“USA”“Thanksgiving”“China”“Chinese New Year”这样的关联特征,对用户的点击有着正向的影响。

数据稀疏性普遍存在的实际应用场景中,二次项参数的训练是很困难的。原因是,每个参数 wij的训练需要大量 xi  xj 都非零的样本;由于样本数据本来就比较稀疏,满足xi  xj 都非零的样本将会非常少。训练样本的不足,很容易导致参数wij 不准确,最终将严重影响模型的性能。

如何解决二次项参数的训练问题呢?矩阵分解提供了一种解决思路。model-based的协同过滤中,一个rating矩阵可以分解为user矩阵和item矩阵,每个useritem都可以采用一个隐向量表示。比如在下图中的例子中,我们把每个user表示成一个二维向量,同时把每个item表示成一个二维向量,两个向量的点积就是矩阵中useritem的打分。

FM与FFM的区别_第1张图片


具体来说,xhxi xixj的系数分别为vh,vivi,vj,它们之间有共同项 vi。也就是说,所有包含“xi的非零组合特征(存在某个 j≠i,使得 xixj≠0)的样本都可以用来学习隐向量 vi,这很大程度上避免了数据稀疏性造成的影响。而在多项式模型中,whi wij是相互独立的。

FFM:通过引入field的概念,FFM把相同性质的特征归于同一个field

“Day=26/11/15”“Day=1/7/14”“Day=19/2/15”这三个特征都是代表日期的,可以放到同一个field中。同理,商品的末级品类编码生成了550个特征,这550个特征都是说明商品所属的品类,因此它们也可以放到同一个field中。简单来说,同一个categorical特征经过One-Hot编码生成的数值特征都可以放到同一个field,包括用户性别、职业、品类偏好等。在FFM中,每一维特征 xi,针对其它特征的每一种field fj,都会学习一个隐向量 vi,fj。因此,隐向量不仅与特征相关,也与field相关。也就是说,“Day=26/11/15”这个特征与“Country”特征和“Ad_type”特征进行关联的时候使用不同的隐向量,这与“Country”“Ad_type”的内在差异相符,也是FFM“field-aware”的由来。

假设样本的 n个特征属于 ffield,那么FFM的二次项有 nf个隐向量。而在FM模型中,每一维特征的隐向量只有一个。FM可以看作FFM的特例,是把所有特征都归属到一个field时的FFM模型。根据FFMfield敏感特性,可以导出其模型方程。


其中,fj是第 j个特征所属的field。如果隐向量的长度为 k,那么FFM的二次参数有 nfk 个,远多于FM模型的 nk个。此外,由于隐向量与field相关,FFM二次项并不能够化简,其预测复杂度是 O(kn2)

为了使用FFM方法,所有的特征必须转换成“field_id:feat_id:value”格式field_id代表特征所属field的编号,feat_id是特征编号,value是特征的值。数值型的特征比较容易处理,只需分配单独的field编号,如用户评论得分、商品的历史CTR/CVR等。categorical特征需要经过One-Hot编码成数值型,编码产生的所有特征同属于一个field,而特征的值只能是01,如用户的性别、年龄段,商品的品类id等。除此之外,还有第三类特征,如用户浏览/购买品类,有多个品类id且用一个数值衡量用户浏览或购买每个品类商品的数量。这类特征按照categorical特征处理,不同的只是特征的值不是01,而是代表用户浏览或购买数量的数值。按前述方法得到field_id之后,再对转换后特征顺序编号,得到feat_id,特征的值也可以按照之前的方法获得。

在训练FFM的过程中,有许多小细节值得特别关注。

第一,样本归一化FFM默认是进行样本数据的归一化,即 pa.norm为真;若此参数设置为假,很容易造成数据inf溢出,进而引起梯度计算的nan错误。因此,样本层面的数据是推荐进行归一化的。

第二,特征归一化CTR/CVR模型采用了多种类型的源特征,包括数值型和categorical类型等。但是,categorical类编码后的特征取值只有01,较大的数值型特征会造成样本归一化后categorical类生成特征的值非常小,没有区分性。例如,一条用户-商品记录,用户为性,商品的销量是5000个(假设其它特征的值为零),那么归一化后特征“sex=male”(性别为男)的值略小于0.0002,而“volume”(销量)的值近似为1。特征“sex=male”在这个样本中的作用几乎可以忽略不计,这是相当不合理的。因此,将源数值型特征的值归一化到 [0,1] 是非常必要的。

第三,省略零值特征。从FFM模型的表达式(4)可以看出,零值特征对模型完全没有贡献。包含零值特征的一次项和组合项均为零,对于训练模型参数或者目标值预估是没有作用的。因此,可以省去零值特征,提高FFM模型训练和预测的速度,这也是稀疏样本采用FFM的显著优势

 

你可能感兴趣的:(machine,learning)