集成学习-Bagging 与 boosting

---

---

机器学习中的集成学习有两个重要的策略，即Bagging与Boosting。面试中常常会问：简单说一下bagging和boosting么？他们有什么区别（偏差与方差的关系）？RT和GBDT哪个树的层数更多？为什么？

偏差（bias）和方差（variance）：

为什么bagging是减少variance，而boosting是减少bias？为什么随机森林的树的深度往往大于GBDT的树的深度？这里涉及两个概念——偏差与方差。

偏差（bias）- 准：指的是算法的期望预测与真实值之间的偏差程度，反映了模型本身的拟合能力。要想low bias，就得复杂化模型，增加模型的参数但这样容易过拟合，过拟合对应上图的high variance，点很分散。low bias对应就是点都打在靶心附近，所以瞄的是准的，但手不一定稳。

方差（variance）- 确：度量了同等大小的训练集的变动导致学习性能的变化，刻画了数据扰动所导致的影响。要想low variance，就要简化模型，但这样容易欠拟合，欠拟合对应上图的high bias，点偏离中心。low variance对应就是点都打的很集中，但不一定是靶心附近，手很稳，但瞄的不准。

调参的目标：偏差和方差的协调，当我们建立模型时，偏差和方差都需要照顾到，一个也不能漏掉。

Bagging减少variance：

Bagging对样本重采样（有放回），对每一重采样得到的子样本集训练一个模型，最后取平均。由于子样本集的相似性以及使用的是同种模型，因此各模型有近似相等的bias和variance（事实上，各模型的分布也近似相同，但不独立）。

为了方便进行讲解，不妨认为各个子模型的bias和variance完全相等。因此 $E(\frac{\sum X_i}{n})=E(X_i)$ ，所以bagging后的bias和单个子模型的接近，一般来说不能显著降低bias。另一方面，若各子模型独立，则有 $\text{Var}(\frac{\sum X_i}{n})=\frac{\text{Var}(X_i)}{n}$ ，此时可以显著降低variance。若各子模型完全相同，则 $\text{Var}(\frac{\sum X_i}{n})=\text{Var}(X_i)$ ，此时不会降低variance。bagging方法得到的各子模型是有一定相关性的，属于上面两个极端状况的中间态，因此可以一定程度降低variance。

为了进一步降低variance，Random forest通过随机选取变量子集做拟合的方式de-correlated了各子模型（树），使得variance进一步降低。用公式可以一目了然：设有i.d.（同分布）的 $n$ 个随机变量，方差记为 ${\sigma }^2$ ，两两变量之间的平均相关性为 $\rho$ ，则 $\frac{\sum X_i}{n}$ 的方差为 $\rho \ast {\sigma }^2+(1-\rho )\ast {\sigma }^2/n$ ，bagging降低的是第二项，random forest是同时降低两项。

random forest 整体上的variance已经很低了，在这个基础上每棵树就要尽可能的降低偏差，所以我们会采用深度很深并且不剪枝的决策树。

Boosting减少bias：

算法通过迭代构建一系列的分类器，每次分类都将上一次分错的数据权重提高一点再进行下一个分类器分类，这样最终得到的分类器在测试数据与训练数据上都可以得到比较好的成绩。其代表算法为AdaBoost、GBDT、XGBoost。

boosting从优化角度来看，是用forward-stagewise这种贪心法去最小化损失函数 $L(y,\sum _i{a}_i{f}_i(x))$ 。例如，常见的AdaBoost即等价于用这种方法最小化exponential loss： $L(y,f(x))=\exp (-yf(x))$ 。所谓forward-stagewise，就是在迭代的第 $n$ 步，求解新的子模型 $f(x)$ 及步长 $a$ （或者叫组合系数），来最小化 $L(y,f_{n-1}(x)+af(x))$ ，这里 $f_{n-1}(x)$ 是前 $n-1$ 步得到的子模型的和。因此boosting是在sequential地最小化损失函数，其bias自然逐步下降。但由于是采取这种sequential、adaptive的策略，各子模型之间是强相关的，于是子模型之和并不能显著降低variance。所以说boosting主要还是靠降低bias来提升预测精度。

而对于偏差很低的Boosting来说问题就是如何让每颗树拥有更高的泛化能力，即更简单的弱分类器，所以我们选择深度很浅的决策树。

参考文章：

https://www.jianshu.com/p/0fe45d4e9542
https://blog.csdn.net/qq_36523839/article/details/82490802
https://chmx0929.gitbook.io/machine-learning/ji-qi-xue-xi/ji-qi-xue-xi/ji-cheng-xue-xi