小常识5-stacking和blending模型融合方法详解

小常识5-stacking和blending模型融合方法详解

对于机器学习和深度学习来说，用单模型的效果往往都没有进行模型融合后的效果好。

对模型来说，我们需要选择具有多样性，准确性的模型，对于融合的方式来说也有很多种，比如最简单的取平均或者投票法就是一种。这里主要讲一下stacking和blending，二者都是用了两层的模型。

blending

bending是一种模型融合方法，对于一般的blending，主要思路是把原始的训练集先分成两部分，比如70%的数据作为新的训练集，剩下30%的数据作为测试集。第一层我们在这70%的数据上训练多个模型，然后去预测那30%数据的label。在第二层里，我们就直接用这30%数据在第一层预测的结果做为新特征继续训练即可。

stacking

stacking也是一种模型融合的方法，类似blending。首先，直接用所有的训练数据对第一层多个模型进行k折交叉验证，这样每个模型在训练集上都有一个预测值，然后将这些预测值做为新特征对第二层的模型进行训练。相比blending，stacking两层模型都使用了全部的训练数据。

这两者其实不用分的太清楚，各有好坏：

Blending与stacking相比优点在于：

1.比stacking简单（因为不用进行k次的交叉验证来获得新特征）

2.由于两层使用的数据不同，所以避免了一个信息泄露的问题。

3.在团队建模过程中，不需要给队友分享自己的随机种子。

而缺点在于：

1.由于blending对数据集这种划分形式，第二层的数据量比较少。

2.由于第二层数据量比较少所以可能会过拟合。

3.stacking使用多次的CV会比较稳健

对于实践中的结果而言，stacking和blending的效果是差不多的，所以使用哪种方法都没什么所谓，完全取决于个人爱好。

 

stacking示意图