FM/FMM算法笔记

  1. 原文链接
  2. FM\\FMM优点:特征稀疏时保持良好性能
  3. FM原理:
    1. onehot的编码后特征极度稀疏,特征空间大(升维双刃剑:线性可分、过拟合维度爆炸--效果为王)
    2. 通过多项式交叉后,交叉特征含有更多的特征值为零样本。但是为了训练权重,让不同的特征权重区分化更多的依赖于该特征下非零的样本
    3. 采用一种矩阵分解的思路。求得的n*k维矩阵v为描述特征的因子
    4. 优点:训练的参数变少了;对于vi,可以通过任意一个vj来求,很大程度上避免了数据稀疏性
    5. 总结:复杂度线性/样本稀疏的情况下有优势
  4. FFM原理
    1. field概念:将同种性质的特征都归为同一个field
    2. 将每一个vi按照field拆分为不同的向量。这样符合不同特征间的内在差异

你可能感兴趣的:(机器学习)