bagging和boosting的思想简述各自的代表模型原理

在机器学习的集成学习中,有两种系列算法boosting,bagging。现在讲述一下二者的思想简述各自的代表模型原理。

一.boosting

1. 思想

其主要思想是将弱分类器组装成一个强分类器。在PAC（概率近似正确）学习框架下，则一定可以将弱分类器组装成一个强分类器。

2.代表模型及其原理

AdaBoost通过加权多数表决的方式，即增大错误率小的分类器的权值，同时减小错误率较大的分类器的权值。
而GBDT-梯度提升决策树树通过拟合残差的方式逐步减小残差，将每一步生成的模型叠加得到最终模型。

二.bagging(bootstrap aggregating)

1.思想

Bagging即套袋法，其思想是:
A）从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没有被抽中）。共进行k轮抽取，得到k个训练集。（k个训练集之间是相互独立的）

B）每次使用一个训练集得到一个模型，k个训练集共得到k个模型。（注：这里并没有具体的分类算法或回归方法，我们可以根据具体问题采用不同的分类或回归方法，如决策树、感知器等）

C）对分类问题：将上步得到的k个模型采用投票的方式得到分类结果；对回归问题，计算上述模型的均值作为最后的结果。（所有模型的重要性相同）

2.代表模型及其原理

随机森林(RF)
1.随机森林的弱学习器都是决策树。
2.随机森林在bagging的样本随机采样的基础上,又加上了特征的随机选择。