集成学习原理概要 (随机森林, gbdt, XGBoost)

集成学习是一类机器学习算法，主要用于分类和回归任务，基本思想是结合多个弱模型变成一个强模型。
本文自网络资料参考整理而来，参考列表在文末。本文重点描述方法原理和基本过程，具体推导请参考文末链接。

1. 分类决策树

• 基本特征：每个叶子节点是一个决策分类，比如买这件商品或者不买；比如去A商场还是B、C商场。每个中间节点是一个特征的判断。

• 分裂决策：信息增益。遍历每个特征，每种决策（离散变量可以为多扇出，连续变量可以遍历找中间值），找出信息增益最大的特征和决策，执行分裂。

  
  
  image.png

• 信息增益：可以是信息熵或者基尼系数。二者表示含义类似，均为信息的不纯度。基尼系数是信息熵中log项在p=1附近的一阶泰勒展开。

  
  
  image.png

2. 回归树

• 基本特征：每个叶子节点代表一个回归值，实际上就是叶子节点所包括的一组样本值的平均值。
• 分裂决策：有两种方法
  1. 最小标准差。依旧遍历每个特征，每种决策，计算子节点带权标准差，选择最小的决策。
  2. 最小平方误差。将预测值和实际值的平方误差累加，选择最小的方案。
• 终止条件：节点的标准差系数（标准差/均值）低于阈值；或者节点内的元素个数低于阈值。

剪枝

有关这两种树的剪枝，可以分别计算每一个中间节点的剪枝收益，注意此时损失函数不只有最小平方误差或者信息增益，还需要树的复杂度，即树的节点个数、高度等。我们可以给复杂度代价这一项前面加一个权重因子，当比较大的时候，分类/回归精度不再那么重要，子树的复杂度很重要，会更倾向于剪枝。
具体算法上，我们可以算每一个中间节点的临界值，依次选择最小的对应的中间节点剪枝。生成的一大批树里面可以利用K折交叉验证选一个最好的。
详细参考：https://zhuanlan.zhihu.com/p/418306627
https://cloud.tencent.com/developer/article/1813348

3. 随机森林

• 基本做法：随机森林其实是上述两种算法的优化算法，主要是利用随机性，提升算法精度和鲁棒性，降低方差。具体来说，就是在训练集中随机采样多次，采用一组随机特征，分别训练一颗决策树。使用时让数据travel多棵树，得到结果，如果是分类任务可以取众数，如果是回归任务可以取平均数。
• 原理：假设一个决策树的分类准确率是70%，n棵决策树中至少有一个分类正确的概率就是，是一个较大的概率。
  由于多个模型之间并无关联，这一类学习机通常称为bagging式的集成学习，集成学习表示组合多个弱模型构成一个强模型。

4. BDT提升决策树 （boosting decision tree）

实际上是多颗回归树，不过是以递增形式生成的，即boosting，是继承学习的另一种fashion。每一棵树的生成都依赖于前面生成的树，最后做回归的时候，需要把多棵树的回归结果相加/带权相加。
具体来说，BDT首先训练一颗回归树，然后将训练样本的目标值改为残差，再次训练残差。

5.GBDT梯度提升决策树（gradient boosting decision tree）

• 一言概括：BDT使用的是残差迭代做回归树，GBDT使用的是损失函数的负梯度迭代做回归树。
• BDT是GDBT的一种特例，当损失函数是二次误差时，负梯度就是残差。
• 负梯度：损失函数对假设函数求导（梯度），导数在之前树的输出值的位置的值，就是所谓负梯度。
• 为什么使用负梯度？当新树的输出值和之前树的负梯度接近时，可以保证，新树可以减少整体误差。（具体证明过程可以对代价函数做一阶泰勒展开（在上一棵树的输出值位置处），然后移项做减法可得）

6. XGBoost

一个进阶版GBDT

• 代价函数：相比于GBDT等，代价函数除了回归误差（即最小平方误差）以外，还引入了一项树的复杂度，由树的叶子节点个数和叶子节点回归值的平方和组成。

  • 我们仍然假设一个叶子节点的回归值是统一的，但不同的是，每个叶子节点的回归值不再是样本平均值，而是根据更复杂的统计信息而来。（具体来说，先设为变量，在对目标函数求导过程中可以解得具体值，和所在节点的G和H有关，下述）

  • 可以将代价函数的回归误差部分进行二阶泰勒展开（在前一棵树的输出值位置）。展开之后化简合并到新树的每个叶子节点中，假设共T个叶子节点，叶子节点中每一个样本有一些损失值，是一个常量，由之前的树算得。生成一棵新树之后，每个叶子节点的损失由其中的数据项的损失值加和得到，整棵树的损失由下式得到。

    
    
    image.png

• 训练过程：

  • 为什么不直接使用梯度下降？在这篇博客里面，我们一直使用树结构，而树结构是不适宜直接用梯度下降的，因为这是一个分层的过程，每分一层，样本总量就减少不少，因此直接从结果上做梯度下降是不合适的，也不容易收敛，毕竟我们很难从一开始就知道有多少个叶子节点，每个叶子节点的回归值是多少，叶子节点和训练样本的如何对应，如果随机初始化的话，收敛难度很大；更关键的是，这个对应关系大概率是一个不连续的函数，梯度本身也没有意义。
  • 实际训练过程和之前的方法类似，在每一个节点处，遍历每一个特征，每个分割点，计算分裂后的目标函数减少量，选择减少量最大的即可。
  • 终止条件：没有有收益的划分/节点内样本量较少

参考资料：

1. https://www.bilibili.com/video/BV1Ca4y1t7DS?p=8&spm_id_from=pageDriver&vd_source=b36eb3caf743a16b1961c9b1319fab0f
2. https://www.bilibili.com/video/BV1nP4y177rw?p=5&spm_id_from=pageDriver&vd_source=b36eb3caf743a16b1961c9b1319fab0f
3. https://zhuanlan.zhihu.com/p/418306627
4. https://zhuanlan.zhihu.com/p/29765582