机器学习 集成学习的结合策略之stacking学习法

机器学习模型优化之模型融合https://blog.csdn.net/u014248127/article/details/78993753

 

模型融合的结合策略： 基本学习器学习完后，需要将各个模型进行融合，常见的策略有：

1，平均法： 平均法有一般的评价和加权平均，这个好理解。对于平均法来说一般用于回归预测模型中，在Boosting系列融合模型中，一般采用的是加权平均融合。

2，投票法：有绝对多数投票（得票超过一半），相对多数投票（得票最多），加权投票。这个也好理解，一般用于分类模型。在bagging模型中使用。

3，学习法：一种更为强大的结合策略是使用”学习法”，即通过另一个学习器来进行结合，把个体学习器称为初级学习器，用于结合的学习器称为次级学习器或元学习器。常见的有Stacking和Blending两种 

 

Stacking方法： Stacking 先从初始数据集训练出初级学习器，然后”生成”一个新数据集用于训练次级学习器。在这个新数据集中，初级学习器的输出被当作样例输入特征，而初始样本的标记仍被当作样例标记。 
stacking一般使用交叉验证的方式，初始训练集D 被随机划分为k 个大小相似的集合D1 ， D2 ， … ， Dk，每次用k-1个部分训练T个模型，对另个一个部分产生T个预测值作为特征，遍历每一折后，也就得到了新的特征集合，标记还是源数据的标记，用新的特征集合训练一个集合模型。

本文以Kaggle的Titanic(泰坦尼克预测)入门比赛来讲解stacking的应用(两层!一层是初级学习器，第二层是次级学习器（元学习器）的训练)。

数据的行数：train.csv有890行，也就是890个人，test.csv有418行(418个人)。

而数据的列数就看你保留了多少个feature了，因人而异。我自己的train保留了 7+1(1是预测列)。

在网上流传比较多的图为

 

1. 对训练集（890条数据）做5折交叉验证。每1次的fold，都会生成 713行 小train， 178行 小test。

  对于每一轮的 5-fold，Model 1都要做满5次的训练和预测。

 

我们用Model 1来训练 713行的小train，然后预测 178行 小test。预测的结果是长度为 178 的预测值。

这样的动作走5次! 长度为178 的预测值 X 5 = 890 预测值，刚好和Train data长度吻合。这个890预测值是Model 1产生的，我们先存着，因为，一会让它将是第二层模型的训练来源。

重点：这一步产生的预测值我们可以转成 890 X 1 (890 行，1列)，记作 P1 (大写P)

接着说 Test Data 有 418 行。(请对应图中的下层部分，对对对，绿绿的那些框框)

每1次的fold，713行 小train训练出来的Model 1要去预测我们全部的Test Data(全部!因为Test Data没有加入5-fold，所以每次都是全部!)。此时，Model 1的预测结果是长度为418的预测值。

这样的动作走5次!我们可以得到一个 5 X 418 的预测值矩阵。然后我们根据行来就平均值，最后得到一个 1 X 418 的平均预测值。

重点：这一步产生的预测值我们可以转成 418 X 1 (418行，1列)，记作 p1 (小写p)

走到这里，你的第一层的Model 1完成了它的使命。

 

2。  第一层还会有其他Model的，比如Model 2，同样的走一遍， 我们有可以得到 890 X 1 (P2) 和 418 X 1 (p2) 列预测值。

这样吧，假设你第一层有3个模型，这样你就会得到：

来自5-fold的预测值矩阵 890 X 3，(P1，P2， P3) 和 来自Test Data预测值矩阵 418 X 3， (p1, p2, p3)。

—————————————–

到第二层了………………

来自5-fold的预测值矩阵 890 X 3 作为你的Train Data，训练第二层的模型

来自Test Data预测值矩阵 418 X 3 就是你的Test Data，用训练好的模型来预测他们吧。