模型融合

一、模型融合的认识、分析

模型融合就是训练多个模型，然后按照一定的方法集成多个模型，因为它容易理解、实现起来也较为简单，同时能增加模型效果。

1.模型融合的概念

先产生一组“个体学习器”，再通过某种策略将它们组合起来，加强模型的效果。

2.模型融合应用广发的原因

可以通过数学证明模型，随着集成中个体分类器数目T的增大，集成的错误率将指数级下降，最终趋向于零。

3.模型融合的条件

个体学习器准确性越高，多样性越大，融合模型越好。
**Base Model之间的相关性要尽可能的小。**这就是为什么非Tree-based Model往往表现不是最好但还是要将它们包括在Ensemblel里面的原因。
**Baes Model之间的性能表现不能差距太大。**这个其实是Trade-off，在实际中和有可能表现相近的Model中只有寥寥几个而且它们之间相关性还不低。但是时间告诉我们即使在这种情况下Ensemble还是能大幅度提高成绩。

4.模型融合的分类

按照个体学习器的分类关系分为两类：

• 个体学习器间存在强依赖关系、必须串行生成的序列化方法；
• 个体学习器之间不存在强依赖关系，可以同时生成的并行化方法；

二、模型融合的结合方法

2.1 平均法

平均法有一般的评价和加权平均。对于平均法来说一般用于回归预测模型中，在Boosting系列融合模型中，一般采用的是加权平均融合。

2.2 投票法

有绝对多数投票（得票数超过一半），相对多数投票（得票最多），加权投票。这个还理解，一般用于分类模型。

2.3 学习法

通过另一个学习器来进行结合，将个体学习器称为初级学习器，用于结合的学习器称为次级学习器或元学习器
（1）Stacking方法：Stacking先从初级数据集训练出初级学习器，然后“生成”一个数据集用于训练次级学习器。在这个新数据集中，初级学习器的输出被当作样例输入特征，而初始样本的标记仍被当作样例标记。
（2）Blending方法：Blending与Stacking大致相同，只是Blending的主要却别在于训练集不是通过K-Fold的CV策略来获得预测集从而生成第二阶段模型的特征，而是建立一个Holdout集。

三、实例

回归/分类概率-融合：

（1）简单加权平均，结果直接融合
通过简单的实现，我们可以发现加权结果相对于之前的结果是有提升的。
还有一些特殊的形式，比如mean平均，median平均
（2）Stacking融合（回归）
通过实例代码可以发现，模型结果先对于之前有进一步的提升，这是我们需要注意的一点是，对于第二层Stacking的模型不宜选取的过于复杂，这样会导致模型在训练集上过拟合，从而使得在测试集上并不能达到很好的效果。
（3）投票机制（Voting）
Voting即投票机制，分为软投票和硬投票两种，其原理采用少数服从多数的思想。
（4）分类的stacking/blending融合
同上
blending模型
优点在于：

• 比stacking简单（因为不用进行k次的交叉验证来获得stacker feature）
• 避开了一个信息泄露问题：generlizers和stacker使用了不一样的数据集
  缺点在于：
• 使用了很少的数据（第二阶段的blending只使用了training set10%的量）
• blender可能会过拟合
• stacking使用多次的交叉验证会比较稳健

四、经验总结

模型融合有很多优势：

1. 结果层面的融合，这种是最常见的融合方式，其可行的融合方法也有很多种，比如根据结果的得分机型加权融合，还可以做Log，exp处理等。再做结果融合的时候，有一个很重要的条件是模型结果的得分要比较近似，但是结果的擦混一要比较大。
2. 特征层面的融合，这个层面主要是队伍合并之后大家可以相互学习特征工程。如果我们使用同种模型训练，可以把特征进行切分给不同模型，然后再后面进行模型或者结果融合优势也能产生比较好的效果。
3. 模型层面的融合，这方面会涉及模型的堆叠和设计，需要大量的实验和思考，才能得到比较适合的效果。

参考

机器学习模型优化之模型融合.