python机器学习——集成学习之bagging

思路

集成学习（ Ensemble learning ）是指组合多个模型，以获得更好的效果，使集成的模型具有更强的泛化能力。简单来说，集成学习是一种技术框架，其按照不同的思路来组合基础模型，从而达到其利断金的目的。

对于多个模型，如何组合这些模型，主要有以下几种不同的方法：

① 在测试集上找到表现最好的模型作为最终的预测模型；

② 对多个模型的预测结果进行投票或者取平均值（ Simple Average ）；

③ 对多个模型的预测结果做加权平均（ Weight Average ），即：

集成学习框架之bagging

bagging ：对训练集进行抽样（bootstrap自助法抽样，可简单理解为对训练集数据有放回的采用简单随机抽样——所谓简单随机抽样就是抽出的样本是独立同分布的）组成每个基模型所需要的子训练集，对所有基模型预测的结果进行综合，从而得到最终的预测结果。

我们可以发现，bagging主要是利用抽样的随机性，得到不同的样本，从而能够从不同的角度看待样本，从而降低模型的方差，缓解模型的过拟合情况。