机器学习经典模型：集成学习——Boosting（Adaboost与gradient boosting）

集成学习中的boosting主要有两类思想，Adaboost和gradient boosting，而GBDT和XGboost都是gradient boosting的具体应用。

首先简单介绍一下boosting的一些要点，

1. 和bagging相比，boosting的主要区别是基学习器之间不是相互独立的，而是相互联系的，当前的学习器的训练是依赖于上一个学习器的学习结果，对上一轮学习错误的数据给与更多的关注，这是boosting的一个重点。

2. boosting本身是一个加法模型，即boosting模型的输出，等于各个学习器的输出之和（或者加权和）

3. boosting乃至集成学习，集成的都是弱学习器，所谓弱学习器就是不论你怎么训练它，它的准确率都一般，这是一定要记住的地方，因为我一开始就想不懂，为什么要训练多个学习器，而不是集中训练一个学习器，就是因为集中训练它效果也不好。

Adaboost

Adaboost和gradient boosting的区别主要在于从不同的角度实现对上一轮训练错误的数据更多关注，Adaboost主要对数据引入权重，训练后调整学习错误的数据的权重，从而使得下一轮学习中给予学习错误的数据更多的关注。

首先我要强调一点，如果我们设定了Adaboost包含M个学习器（M是超参数），那么整个Adaboost就只学习M轮，或者说只进行M次梯度下降，这是重点，一定要记住。

接下来我们看看完整的训练流程，在训练前，我们会初始化权重，此时一般会让每条数据的权重都相等

$$D_1=(w_{11},\dots \dots ,w_{1i},\dots \dots ,w_{1N}),w_{1i}=\frac{1}{N},i=1,2,\dots \dots ,N$$

比如说，现在有100条数据，那么每条数据的初始化权重就是0.01。

确定好权重后，我们就可以训练第一个学习器，同时定义错误率，作为该学习器性能的指标，

$$e_m=\sum _{i=1}^N{w}_{mi}I(G_m(x_i)\ne y_i)$$

其中m表示第m个学习器，N表示训练数据数量，w表示第m个学习器对应的第i个训练数据的权重，I是一个指示函数，判断分类是否正确，在这里正确为0，错误为1，G则是学习器。

一般来说，我们会用准确率之类的指标去衡量一个学习器的性能，之所以这里使用错误率，主要是为了引入权重。

利用错误率，我们可以计算出该学习器的权重，

$$a_m=\frac{1}{2}log(\frac{1-e_m}{e_m})$$

结合学习器的权重以及错误率，我们就可以根据学习的结果，更新数据的权重分布，

$$w_{m+1,i}=\frac{w_{mi}}{z_m}exp(-a_m{y}_i{G}_m(x_i))$$
$$z_m=\sum _{i=1}^N{w}_{mi}exp(-a_m{y}_i{G}_m(x_i))$$

Zm其实就是规范化因子，重点在于

$$w_{mi}exp(-a_m{y}_i{G}_m(x_i))$$

在这里，yi和Gi的取值应该都是±1，这样当分类正确时，两者乘积为1，否则为-1，假设分类正确，因为前面的负号，导致最后计算出来的结果更小，从而使得更新后的权重更小。这样，整个权重的分布就会给与分类错误数据更大的权重。

当我们训练完M个学习器后，整个Adaboost的输出为

$$f(x)=\sum _{m=1}^M{a}_m{G}_m(x)$$

训练终止条件有两个，一个是训练完一开始设定的M个学习器，另一个则是错误率小于指定阈值。

gradient boosting

在介绍gradient boosting之前，我想先说一点，boosting本身作为一个加法模型，其实就是对多个弱学习器进行线性变换，假如弱学习器本身可以通过多项式表示，那么其实对多项式进行线性变换得到的还是多项式，这样是没法提高弱学习器的性能的，所以一般我们会采用决策树、回归树，就是因为他们都不能写成多项式的形式，特别是回归树，本质上他就是一个分段函数，根据不同的特征输出不同的结果，我们把回归树作为弱学习器进行集成，其实就是把多棵回归树整合在一起，和直接构建一棵复杂的回归树相比，主要优点在于，集成的回归树节点更少，能更好地避免过拟合，同时也保证了模型的拟合能力。这就是boosting一般使用决策树回归树的原因。

接下来我们正式看看gradient boosting，对于gradient boosting，我认为它更像是提升树的一般形式，所以我打算先从提升树说起。

举个简单的例子，我们现在做一个回归模型，

$$y=f_1(x)+residua{l}_1$$

提升树的思想就是用一个新的学习器f2去拟合f1产生的残差

$$residua{l}_1=f_2(x)+residua{l}_2$$

可是f2也不能完美地拟合，也会产生新的残差，所以可以继续用一个f3去拟合，

$$residua{l}_2=f_3(x)+residua{l}_3$$

我们可以不断用新的学习器去拟合上一个学习器产生的残差，理论上认为残差会变得越来越容易拟合，因此变得越来越小，此时把各个学习器的输出相加作为完整模型的输出，残差就会比单一的学习器更小，准确率更高

$$F(x)=f_1(x)+f_2(x)+f_3(x)+\dots \dots$$

这就是提升树的思想，但是实际的模型中，我们的目标往往不会只是减少残差，因为这样会导致过拟合，因此往往会采用更复杂的损失函数，在损失函数中引入正则项等等，我们能不能把提升树的思想进一步一般化呢，这就是gradient boosting所做的事情。

gradient boosting其实就是把最小化的目标从残差变为损失函数，接下来，我就说说我自己关于拟合负梯度的看法，因为只是我个人的看法，不知道是否准确，如果各位觉得有误，欢迎指出。

说到最小化损失函数，就能想到梯度下降法

$$w^{\prime }=w-a\ast \frac{\partial Loss(y,x,w,\gamma )}{\partial w}$$

损失函数我写成一般的形式，其中y表示真实输出，x表示输入，a表示学习率，w表示模型参数，gamma表示正则项等等。

其实对于损失函数，能够改变的只有参数w，所以才会通过优化w从而最小化损失函数。通过上式更新参数w，就能使得损失函数不断下降，即

$$Loss(y,x,w^{\prime },\gamma )<Loss(y,x,w,\gamma )$$

假如我把w换成f(x)，f(x)为模型本身，有

$$f(x{)}^{\prime }=f(x)-a\ast \frac{\partial Loss(y,f(x),\gamma )}{\partial f(x)}$$

$$Loss(y,f(x{)}^{\prime },\gamma )<Loss(y,f(x),\gamma )$$

f(x)'比起f(x)，对应的损失函数也会更小。

如果不理解，我还可以用一个具体的例子来说明，假设使用MSE作为损失函数，

$$Loss=(y-f(x){)}^2$$

假设输入为1，输出为2，真实输出为3，学习率为0.1

$$Los{s}_0=(3-f(1){)}^2=1$$

$$a\ast \frac{\partial (y-f(x){)}^2}{\partial f(x)}=0.1\ast (2f(x)-6)=-0.2$$

$$f(x)-a\ast \frac{\partial Loss(y,f(x),\gamma )}{\partial f(x)}=2-(-0.2)=2.2$$

$$Los{s}_1=(3-f(1){)}^2=0.64$$

可以看到损失函数已经下降了。

进一步，我们继续推广（这里我省略了学习率），对f0进行n次梯度下降，并把每次梯度下降写出来，可得

$$f_1(x)=f_0(x)-\frac{\partial Loss}{\partial f_0(x)}$$

$$f_2(x)=f_1(x)-\frac{\partial Loss}{\partial f_1(x)}$$

$$f_3(x)=f_2(x)-\frac{\partial Loss}{\partial f_2(x)}$$

$$\dots \dots$$

$$f_n(x)=f_{n-1}(x)-\frac{\partial Loss}{\partial f_{n-1}(x)}$$

合并上式，得到

$$f_n(x)=f_0(x)-\frac{\partial Loss}{\partial f_0(x)}-\frac{\partial Loss}{\partial f_1(x)}-\dots \dots -\frac{\partial Loss}{\partial f_{n-1}(x)}$$

改写一下上式，

$$F(x)=T_0(x)+T_1(x)+T_2(x)+\dots \dots +T_n(x)$$

F(x)其实就是一个加法模型，其中每个学习器都在拟合上一个学习器的负梯度，这也就是gradient boosting的思想。