模型融合之stacking&blending原理及代码

目录

1 Stacking

1.1 概念

1.2 python实现

2 Blending

2.1 概念

2.2 python实现

3 Stacking和Blending对比

4 参考文献


模型融合的基本思想就是通过对多个单模型融合以提升整体性能。平常自己一般都使用最简单的方法,比如说对分类问题,采用voting,对回归问题,采用加权averaging。

今天简单介绍下stacking和blending。

1 Stacking

1.1 概念

Stacking模型本质上是一种分层的结构,这里简单起见,只分析二级Stacking。假设我们有3个基模型M1、M2、M3。

1. 基模型M1,对训练集train训练,然后用于预测train和test的标签列,将预测的训练集和测试集的结果(即预测出的y)分别作为P1,T1

模型融合之stacking&blending原理及代码_第1张图片

 

对于M2和M3,重复相同的工作,这样也得到P2,T2,P3,T3。

2. 分别把P1,P2,P3以及T1,T2,T3合并,得到一个新的训练集和测试集train2,test2.

模型融合之stacking&blending原理及代码_第2张图片

模型融合之stacking&blending原理及代码_第3张图片

3. 再用第二层的模型M4训练train2,预测test2,得到最终的标签列。必须要注意的是,也是我一开始有点懵的地方。train2和test2里的特征其实是在第一层预测出的y的结果。

模型融合之stacking&blending原理及代码_第4张图片

Stacking本质上就是这么直接的思路,但是这样肯定是不行的,问题在于P1的得到是有问题的,用整个训练集训练的模型反过来去预测训练集的标签,毫无疑问过拟合是非常非常严重的,因此现在的问题变成了如何在解决过拟合的前提下得到P1、P2、P3,这就变成了熟悉的节奏——K折交叉验证。我们以2折交叉验证得到P1为例,假设训练集为4行3列
将其划分为2部分

用traina训练模型M1,然后在trainb上进行预测得到preb3和pred4

在trainb上训练模型M1,然后在traina上进行预测得到pred1和pred2

然后把两个预测集进行拼接

模型融合之stacking&blending原理及代码_第5张图片

对于测试集T1的得到,有两种方法。注意到刚刚是2折交叉验证,M1相当于训练了2次,所以一种方法是每一次训练M1,可以直接对整个test进行预测,这样2折交叉验证后测试集相当于预测了2次,然后对这两列求平均得到T1(接下来的代码是这么做的)。或者直接对测试集只用M1预测一次直接得到T1。

P1、T1得到之后,P2、T2、P3、T3也就是同样的方法。理解了2折交叉验证,对于K折的情况也就理解也就非常顺利了。所以最终的代码是两层循环,第一层循环控制基模型的数目,每一个基模型要这样去得到P1,T1,第二层循环控制的是交叉验证的次数K,对每一个基模型,会训练K次最后拼接得到P1,取平均得到T1。这下再把@Wille博文中的那张图片放出来就很容易看懂了。

该图是一个基模型得到P1和T1的过程,采用的是5折交叉验证,所以循环了5次,拼接得到P1,测试集预测了5次,取平均得到T1。而这仅仅只是第二层输入的一列/一个特征,并不是整个训练集。再分析接下来的代码也就很清楚了。也就是刚刚提到的两层循环。

Note:

(1)一个基模型通过交叉验证训练得到的P1(  ) 只是train2中的一列特征,对测试集预测的结果T1只是test2中的一列特征。​

(2)对于得到的训练集train2,在第二层M4训练的时候,它的标签还是原来的y。

1.2 python实现

​Stacking代码​

该代码完全实现了上面的逻辑,通俗易懂。稍加改造就可以应用于自己的模型。


2 Blending

2.1 概念

Blending与Stacking大致相同,只是Blending的主要区别在于训练集不是通过K-Fold的CV策略来获得预测值从而生成第二阶段模型的特征,而是建立一个Holdout集。简单来说,Blending直接用不相交的数据集用于不同层的训练。

以两层的Blending为例,训练集划分为两部分(d1,d2),测试集为test。

  1. 第一层:用d1训练多个模型,将其对d2和test的预测结果作为第二层的New Features。
  2. 第二层:用d2的New Features和标签训练新的分类器,然后把test的New Features输入作为最终的测试集,对test预测出的结果就是最终的模型融合的值。

2.2 python实现

​Blending代码


 

3 Stacking和Blending对比

Blending的优点在于:

1.比stacking简单(因为不用进行k次的交叉验证来获得stacker feature)

2.避开了一个信息泄露问题:generlizers和stacker使用了不一样的数据集

3.在团队建模过程中,不需要给队友分享自己的随机种子

而缺点在于:

1.使用了很少的数据(是划分hold-out作为测试集,并非cv)

2.blender可能会过拟合(其实大概率是第一点导致的)

3.stacking使用多次的CV会比较稳健

对于实践中的结果而言,stacking和blending的效果是差不多的,所以使用哪种方法都没什么所谓,完全取决于个人爱好。


4 参考文献

贝尔塔:【机器学习】模型融合方法概述

Ensemble Learning-模型融合-Python实现

你可能感兴趣的:(机器学习)