stacking figure from https://zhuanlan.zhihu.com/p/26890738

Stacking在比赛中是很常用的技巧, 但看了很多资料还是很难理解.
后来自己youtube上找到一个PyData的分享, 总算明白了.
我的困惑点是, 我不理解为什么下一个模型要用到上一个模型的预测. 而第一个模型预测又不一定正确, 那为啥后面还要用他当训练数据?
直到我看到PyData的视频里面有讲到一个词: meta-estimator, 联系自己做过的model fusion, 并且大概了解过的meta-learning的基本概念，瞬间茅塞顿开. 其实本质上stacking就是用下一个模型去针对上一个模型预测的结果进行学习, 注意这里训练的输入是上一个模型的预测结果, 换句话说, 就是我下一个模型学习的目标是找到上一个模型预测结果和真实结果之间的模式, 通过学习这种模式可以优化最终的结果.

What is a stacked model?

原话:

Also called model ensembling or blending, model stacking combines the outputs of-
multiple models(called base estimators) by training a higher-
level model(called the meta-estimator) on the output.
Works with classifiers and regressors alike.

简而言之, 就是一个元学习器. 而所谓元学习就是指学习如何学习. 换句话说, 本质上学习器是学习我们具体任务输入和输出的关系, 例如我们要预测房价变化趋势Y_hat, 那么输入(features)可能是一些市场供需关系变量X, 而元学习是学习房价变化趋势Y_hat和真实的Y之间的关系.
当然stacking也不是唯一的方式, 之前在做图像识别任务时就用过Naive Bayesian Fusion Scheme, 效果也能提升,并且理解也很直观.

他们为什么work?
拿CNN图像分类来说, 不同结构的模型他们的错误不一定重叠(not necessarily overlapped), 所以我们就可以对于各个模型各取所长, 然后把他们的结果结合再输出.

一般流程

基模型训练过程

每个基模型(例如Base Model 1是XGBoost, Base Model 2是RandomForest, Base Model 3是K-NN...)在train set做Cross Validation, 得到train samples的y_hat

基模型预测过程

各个模型在test set上做prediction, 得到所有test samples的y_hat.

基模型Stacking过程

得到不同基模型的y_hat后, 把他们的train set部分的y_hat作为features, 所有的y作为label, 训练出一个模型. 最终y_hat_final由test set中的y_hat作为模型输入得到, 这里需要注意的是test set中的y_hat因为没有CV, 所以单个模型的每个CV fold输出会重叠, 因此这里取所有fold的平均.

为什么要用Cross Validation?
本质是为了得到模型的un-leaky的预测y_hat. 高层的model要训练的是base model的输出y_hat, 那么如果我不用CV, 那我只能用全部的训练集训练, 再预测一遍训练集,那么我的结果一定是过拟合的.

另外一个问题, 每个CV部分要不要refit?
所谓refit就是用缺失的那个fold再放回去训练, 来预测test set(当然在stacking中, 放回去之前一定是已经得到了那个fold的y_hat了). refit一般情况会增强模型的泛化能力(因为他见过更多的sample), 但需要考虑到, 因为基于不同训练数据, refit之后你得到的模型和之前你预测fold的模型是不同的, 那么在stacking的步骤里, 得到的training中y_hat,y之间的关系就和test中的失去联系.

最后一个问题, 是不是一定得CV?
答案时否定的. 之前看到京东一个比赛的baseline的操作是把对所有训练数据预测结果直接当做一个下一次(层)stacking的新feature. 这样很简单粗暴, 简单说就是: 循环得自己吃自己的屎. 直观的理解: 第一次吃东西不消化, 可能拉出来的东西还有些没消化的, 所以再吃一遍.

WHEN TO USE

Juicing a little more accuracy of your model (juicing很形象...拧毛巾既视感)

更多模型更加flexibility (灵活, 不同模型对于y有不同的assumption, 可以灵活得把他们组合利用.)

表示我真的尽力了... 我都已经把所有能用的模型都用了...

什么时候最好别用

数据太多了

需要解释性. (对于结果再组合, 影响了模型最终结果的解释性)

需要知道数据的产生过程.

A FEW TIPS

基模型之间需要结构差异化 (回忆前文的假设——不同结构模型之间的犯的错不一定会重叠)

选择处理相关属性的model. (每个基模型都在预测y, 所以他们的y_hat之间的相关行会非常高, 所以需要选择对于输入相关性不敏感的明细做stacking, 例如树模型)

简单的元学习器能提高解释性. (分类: L2-logistic regression, 回归: Non-negative LS...)

用连续的输出作为元学习的输入. (对于分类来说, 基学习器输出概率而不是label, 元学习器就会多了很多信息.)

GOOD NEWS

Stacking实现不难, 不过对于伸手党来说, 效率第一.
这里介绍一下别人已经造好的轮子: civismlext
注意: 该轮子对于基模型需要满足 sklearn-compatible, 即有fit和predict方法.

安装

$ pip install civisml-extensions

例子

from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
from civismlext.stacking import StackedClassifier
# Note that the final estimator 'metalr' is the meta-estimator
estlist = [('rf', RandomForestClassifier()),
            ('lr', LogisticRegression()),
            ('metalr', LogisticRegression())]
mysm = StackedClassifier(estlist) 
# Set some parameters, if you didn't set them at instantiation
mysm.set_params(rf__random_state=7, lr__random_state=8,
                 metalr__random_state=9, metalr__C=10**7)
 # Fit
mysm.fit(Xtrain, ytrain)
# Predict!
ypred = mysm.predict_proba(Xtest)

以上.

Stacking的理解