机器学习笔记之十六——模型融合Blending

  Blending方法是区别于bagging和boosting的另一种集成模型的方法。

  在已经得到多个弱学习器的状况下，如何将这些弱学习器的预测值联合起来，得到更好的预测值，就是Blending做的事情。

 

 1、Uniform Blending

    uniform Blending（平均Blending）是最简单的一种Blending方法。

   定义：已知多个弱学习器，每个的权重相同，（G代表融合后的模型）。

    对于Classification问题：  ，K为label类别值。（类似投票，取票数最多的预测结果）

    对于Regression问题：  ，(对所有预测结果取平均)

 

  1.1、unifor Blending 理论支持

  证明：对于Regression问题，以MSE为优化函数，证明Blending model强于单model。

2、Linear Blending

  定义：已知，对于每个给定一个权重。（非平均权重）

  对于Classification问题，

  对于Regression问题：

  找到这个‘good’ ，就是Linear Blending的答案。

  怎么找？

                    ，这个公式实质上就是linearRegression，只不过参数多了个大于0的限制。

3、Any Blending(Stacking)

 Linear Blending是使用linearRegression拟合融合时使用的。

Stacking则是使用non-linear model拟合融合时的参数。

 

通常Stacking与k折交叉验证一同使用。