TASK 5 模型融合

TASK 5 模型融合
总结自《Datawhale 零基础入门数据挖掘-Task 5-模型融合》-ML67

Stacking

1）stacking 是用初始训练数据学习出若干个基学习器后，将这几个学习器的预测结果作为新的训练集，来学习一个新的学习器。。
2）结合策略：如何将个体学习器结合在一起使用的方法。分类可以使用投票法。回归可以求平均值。（Bagging策略常用方法）
3）个体学习器为初级学习器，用于结合的学习器为次级学习器或元学习器（meta-learner），次级学习器用于训练的数据为次级训练集。
4）Stacking对于训练集和测试集分布不一致情况存在缺点，问题在于用初始模型训练的标签再利用真实标签进行再训练会导致模型过拟合训练集，这样或许模型在测试集上的泛化能力或者说效果会有一定的下降，可以采用次级模型选择尽可能简单的线性模型，或者利用K折交叉验证避免该问题。
5）投票法原理即为少数服从多数，包括软投票和硬投票。软投票相对于硬投票增设了权重。

Blending

1）Blending，其主要思路是把原始的训练集先分成两部分，比如70%的数据作为新的训练集，剩下30%的数据作为测试集。在第一层，在这70%的数据上训练多个模型，然后去预测那30%数据的label，同时也预测test集的label。在第二层，我们就直接用这30%数据在第一层预测的结果做为新特征继续训练，然后用test集第一层预测的label做特征，用第二层训练的模型做进一步预测
2）比stacking简单（因为不用进行k次的交叉验证来获得stacker feature）且避开了一个信息泄露问题：generlizers和stacker使用了不一样的数据集。
3）使用了很少的数据，可能会过拟合。

个人理解和总结

1）模型融合可能源于集成思想，模型融合可以从三个方面进行融合，模型层面（比如堆叠设置）、特征层面以及结果层面（比如加权等）。
2）集成思想要求集成的基学习器要多而不同，才能体现出集成的强泛化能力。因此，集成思想对于建模也是很重要的一个环节。

以天池二手车价格预测为例进行实践探索：

1）本次在建模调参的基础上，使用XGBoost方法采用五折交叉验证和Stacking模型融合方法进行模型融合。