Ensemble Learning——随机森林\极限森林\梯度提升树\GBDT

随机森林和决策森林都是数据集成学习（Ensemble Learning）中的算法，而在集成学习中，主要分为 bagging 算法和 boosting 算法。

本文部分原理及实例来自《统计学习方法》By 李航

Bagging （套袋法）

Bagging的算法过程如下：
1.从原始样本集中使用Bootstraping方法随机抽取n个训练样本，共进行k轮抽取，得到k个训练集。（k个训练集之间相互独立，元素可以有重复）
2.对于k个训练集，我们训练k个模型（这k个模型可以根据具体问题而定，比如决策树，knn等）
3.对于分类问题：由投票表决产生分类结果；
4.对于回归问题：由k个模型预测结果的均值作为最后预测结果。（所有模型的重要性相同）

Boosting（提升法）

Boosting的算法过程如下：
1.对于训练集中的每个样本建立权值$wi$，表示对每个样本的关注度。当某个样本被误分类的概率很高时，需要加大对该样本的权值。
2.进行迭代的过程中，每一步迭代都是一个弱分类器。我们需要用某种策略将其组合，作为最终模型。（例如AdaBoost给每个弱分类器一个权值，将其线性组合最为最终分类器。误差越小的弱分类器，权值越大）

Bagging/Boosting的主要区别

1.样本选择：Bagging采用的是Bootstrap随机有放回抽样；而Boosting每一轮的训练集是不变的，改变的只是每一个样本的权重。
2.样本权重：Bagging使用的是均匀取样，每个样本权重相等；Boosting根据错误率调整样本权重，错误率越大的样本权重越大。
3.预测函数：Bagging所有的预测函数的权重相等；Boosting中误差越小的预测函数其权重越大。
4.并行计算：Bagging各个预测函数可以并行生成；Boosting各个预测函数必须按顺序迭代生成。

下面是将决策树与这些算法框架进行结合所得到的新的算法：

1）Bagging + 决策树 = 随机森林

2）AdaBoost + 决策树 = 提升树

3）Gradient Boosting + 决策树 = GBDT

1.随机森林

随机森林里的随机包含的意思是：
样本随机
特征随机
参数随机
模型随机（ID3 ,C4.5）

随机森林的构建过程大致如下：
1.从原始训练集中使用Bootstraping方法随机有放回采样选出N个样本，共进行K次采样，生成K个训练集
2.对于K个训练集，我们分别训练K个决策树模型
3.对于单个决策树模型，假设训练样本特征的个数为m，那么每次分裂时根据信息增益/信息增益比/基尼指数选择最好的特征进行分裂；
4.每棵树都一直这样分裂下去，直到该节点的所有训练样例都属于同一类。在决策树的分裂过程中不需要剪枝
5.将生成的多棵决策树组成随机森林。对于分类问题，按多棵树分类器投票决定最终分类结果；对于回归问题，由多棵树预测值的均值决定最终预测结果

算法 API

sklearn.ensemble.RandomForestClassifier(n_estimators=100, criterion='gini', max_depth=None, min_samples_split=2, )

2.极限森林

极限树/极端随机树里的随机包含的意思是：
特征随机
参数随机
模型随机（ID3 ,C4.5）
分裂随机

极限树与随机森林的主要区别：

• RandomForest应用的是Bagging模型；ExtraTree使用的所有的样本，只是特征是随机选取的，因为分裂是随机的，所以在某种程度上比随机森林得到的结果更加好;

• 随机森林是在一个随机子集内得到最佳分叉属性；而ExtraTree是完全随机的得到分叉值，从而实现对决策树进行分叉的。

算法 API

sklearn.ensemble.ExtraTreesClassifier(n_estimators=100, criterion='gini', max_depth=None, min_samples_split=2, min_samples_leaf=1)

3.Adaboost 算法

基本流程

先假设给定一个二分类的训练数据集:
$$T=(x_1,y_1),(x_2,y_2),...,(x_N,y_N)$$

1. 生成一个初始化的训练集数据均匀分布的权值：$$D_1=(w_{11},....,w_{1i},....,w_{1N})$$ $w_{1i}=\frac{1}{N}$ 其中$i=1,2,3...,N$
2. 对于$m=1,2,3...,M$
   a)使用第m个权值分布$D_m$的训练数据集学习，得到基分类器：$$G_m(x):\chi \to \{-1,+1\}$$
   b)计算$G_m(x)$在训练数据集上的分类误差率：$$e_m=\sum _{i=1}^{N}P(G_m(x_i)\ne y_i)=\sum _{i=1}^N{w}_{mi}I(G_m(x_i)\ne y_i)$$
   c)计算 $G_m(x)$的系数
   $$\alpha =\frac{1}{2}log\frac{1-e_m}{e_m}$$
   d)更新训练数据集的权值分布：$$D_{m+1}=(w_{m+1,1},....,w_{m+1,i},....,w_{m+1,N})$$
   其中:$$w_{m+1,i}=\frac{w_{mi}}{Z_m}exp(-{\alpha }_m{y}_i{G}_m(x_i)),i=1,2,...N$$
   $$Z_m=\sum _{i=1}^N{w}_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))$$它使得$D_{m+1}$构成一个概率分布
3. 构建基本分类器的线性组合：$$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$
4. 得到最终分类器$$G(x)=sign(f(x))$$
   $$=sign(\sum _{m=1}^M{\alpha }_m{G}_m(x))$$
5. 线性组合 $f(x)$实现了$M$个基本分类器的加权表决,系数${\alpha }_m$表示了基本分类器$G_m(x)$的重要性,这里所有${\alpha }_m$之和不为 1。$f(x)$的符号决定实例$x$的最终分类，$f(x)$的绝对值表示分类的确信度。

实例分析

对于给定的如下的训练数据

序号	1	2	3	4	5	6	7	8	9	10
x	0	1	2	3	4	5	6	7	8	9
y	1	1	1	-1	-1	-1	1	1	1	-1

先初始化数值权值分布：
$$D_1=(w_{11},....,w_{1i},....,w_{110})$$
$$w_{1i}=0.1,其中i=1,2,...10$$
1.生成第一个基分类器
a)在$D_1$为权值的训练集上，阈值取 2.5 时，误差率最低，故基分类器为:
$$G_1(x)=\{\begin{array}{ll}1,& \text{x<2.5}\\ -1,& \text{x>2.5}\end{array}$$
b)则 $G_1(x)$在训练集上的误差率为$e_1=P(G_1(x_i)\ne y_i)=0.3$。
c)计算 $G_1(x)$的系数：
$${\alpha }_1=\frac{1}{2}log\frac{1-e_m}{e_m}=\frac{1}{2}log\frac{1-0.3}{0.3}=0.4236$$
d)更新训练集的权值分布：
$$D_2=(w_{21},....,w_{2i},....,w_{210})$$
$$w_{2,i}=\frac{w_{1i}}{Z_1}exp(-{\alpha }_1{y}_i{G}_1(x_i)),i=1,2,...10$$
$$D_2=(\frac{0.06546}{Z_1},\frac{0.06546}{Z_1},\frac{0.06546}{Z_1},\frac{0.06546}{Z_1},\frac{0.06546}{Z_1},\frac{0.06546}{Z_1},\frac{0.1527}{Z_1},\frac{0.1527}{Z_1},\frac{0.1527}{Z_1},\frac{0.06546}{Z_1})$$
$$D_2=(0.07143,0.07143,0.07143,0.07143,0.07143,0.07143,0.16667,0.16667,0.16667,0.07143)$$
其中:
$Z_1={\sum }_{i=1}^{10}{w}_{1i}exp(-{\alpha }_1{y}_i{G}_1(x_i))$
$=0.06546\ast 6+0.1527\ast 3+0.6546=0.9165$

由上述可知，在第一个基分类器$G_1$中，有三个误分类点，以此种方法计算方法将误分类的第 7、8、9 个样本提高权重，再将权重分配至第二个基分类器中；

序号	1	2	3	4	5	6	7	8	9	10
x	0	1	2	3	4	5	6	7	8	9
y	1	1	1	-1	-1	-1	1	1	1	-1
$G_1$	1	1	1	-1	-1	-1	-1	-1	-1	-1
$G_1$权重	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1

2.生成第二个基分类器
a)在$D_2$为权值的训练集上，阈值取 8.5 时，误差率最低，故基分类器为:
$$G_2(x)=\{\begin{array}{ll}1,& \text{x<8.5}\\ -1,& \text{x>8.5}\end{array}$$
b) 则 $G_2(x)$在训练集上的误差率为$e_2=P(G_2(x_i)\ne y_i)=0.2143$。

c)计算 $G_2(x)$的系数：
$${\alpha }_2=0.6496$$
d)更新训练数据权值分布：
$$D_3=(0.0455,0.0455,0.0455,0.1667,0.1667,0.1667,0.1060,0.1060,0.1060,0.0455)$$
第二个基分类器$G_2$中，其中序号为 4、5、6 的样本预测错误

序号	1	2	3	4	5	6	7	8	9	10
x	0	1	2	3	4	5	6	7	8	9
y	1	1	1	-1	-1	-1	1	1	1	-1
$G_2$	1	1	1	1	1	1	1	1	1	-1
$G_2$权重	0.07143	0.07143	0.07143	0.07143	0.07143	0.07143	0.16667	0.16667	0.16667	0.07143

$$f_2(x)=0.4236G_1(x)+0.6496G_2(x)$$

3.生成第三个基分类器
a)在$D_3$为权值的训练集上，阈值取 5.5 时，误差率最低，故基分类器为:
$$G_3(x)=\{\begin{array}{ll}1,& \text{x>5.5}\\ -1,& \text{x<5.5}\end{array}$$
b) 则 $G_3(x)$在训练集上的误差率为$e_3=P(G_3(x_i)\ne y_i)=0.1820$。

c)计算 $G_3(x)$的系数：
$${\alpha }_3=0.7514$$
d)更新训练数据权值分布：
$$D_4=(0.125,0.125,0.125,0.102,0.102,0.102,0.065,0.065,0.065,0.125)$$
第三个基分类器中，其中序号为 1、2、3 、10的样本预测错误

序号	1	2	3	4	5	6	7	8	9	10
x	0	1	2	3	4	5	6	7	8	9
y	1	1	1	-1	-1	-1	1	1	1	-1
$G_3$	1	1	1	1	1	1	1	1	1	-1
$G_3$权重	0.125	0.125	0.125	0.102	0.102	0.102	0.065	0.065	0.065	0.125

最终得到强学习器
$$G(x)=sign[f_3(x)]=0.4236G_1(x)+0.6496G_2(x)+0.7514G_3(x)$$
其误分类点为0个

算法 API

4.GBDT 算法

别名：GBT(Gradient Boosting Tree)\GTB(Gradient Tree Boosting)\GBRT(Gradient Boosting Regression Tree)\GBDT(Gradient Boosting Decision Tree)\MART(Multiple Additive Regression Tree)

GDBT 也是 Boosting 算法的一种，但是和 Adaboost算法不同；

• Adaboost 算法是利用前一轮的弱学习器的误差来更新样本权重值，然后一轮一轮迭代；
• GBDT 也是迭代，但要求弱学习器必须是 Cart 模型，而且 GBDT 在模型训练的时候，是要求模型预测的样本损失尽可能小。

残差定义：
假设有一组数据$(x_1,y_1),(x_2,y_2)....(x_n,y_n)$,有一个模型$F(X)$，用这个模型去拟合这一批数据，拟合的过程中使得我们选择的损失函数最小，最终成功拟合后，假设得到$F(x_1)=1.2,F(x_2)=2.5$,但实际的$y_1=1.1,y_2=2.4$。可以看出虽然已经拟合的不错了，但与真实值还是有一点差距。
如果想要进一步提升拟合的效果，一个最直观的做法就是使用一个新的学习器对上一批数据拟合过后的残差进行进一步拟合，也就是形成了一批新的数据$(x_1,y_1-F(x_1)),(x_2,y_2-F(x_2))....(x_n,y_n-F(x_n))$。
所以残差实际上是真实值和预测值之差，即 $y-F(x)$。

加法模型

算法流程

实例分析

算法 API

sklearn.ensemble.GradientBoostingClassifier(loss='deviance', learning_rate=0.1, n_estimators=100, subsample=1.0, criterion='friedman_mse')