GBDT梯度提升决策树原理详解

GBDT 是常用的机器学习算法之一，因其出色的特征自动组合能力和高效的运算大受欢迎。 这里简单介绍一下 GBDT 算法的原理.

1、决策树的分类

决策树分为两大类，分类树和回归树。
分类树用于分类标签值，如晴天/阴天/雾/雨、用户性别、网页是否是垃圾页面；
回归树用于预测实数值，如明天的温度、用户的年龄、网页的相关程度；
两者的区别：

    分类树的结果不能进行加减运算，晴天 晴天没有实际意义；
    回归树的结果是预测一个数值，可以进行加减运算，例如 20 岁+ 3 岁=23 岁。
    GBDT 中的决策树是回归树，预测结果是一个数值，在点击率预测方面常用 GBDT，例如用户点击某个内容的概率。

2、GBDT 概念

GBDT 的全称是 Gradient Boosting Decision Tree，梯度提升决策树。同为Boosting家族的一员，它和Adaboost有很大的不同。Adaboost 是利用前一轮弱学习器的误差率来更新训练集的权重，这样一轮轮的迭代下去，简单的说是Boosting框架+任意基学习器算法+指数损失函数。GBDT也是迭代，也使用了前向分布算法，但是弱学习器限定了只能使用CART回归树模型，同时迭代思路和Adaboost也有所不同，简单的说Boosting框架+CART回归树模型+任意损失函数。
GBDT的思想可以用一个通俗的例子解释，假如有个人30岁，我们首先用20岁去拟合，发现损失有10岁，这时我们用6岁去拟合剩下的损失，发现差距还有4岁，第三轮我们用3岁拟合剩下的差距，差距就只有一岁了。如果我们的迭代轮数还没有完，可以继续迭代下面，每一轮迭代，拟合的岁数误差都会减小。

要理解 GBDT，首先就要理解这个 B(Boosting)。

Boosting 是一族可将弱学习器提升为强学习器的算法，属于集成学习（ensemble learning）的范畴。Boosting 方法基于这样一种思想：对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断要好。通俗地说，就是"三个臭皮匠顶个诸葛亮"的道理。
Boosting算法的学习机制：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的的训练样本在后续受到更多关注，然后基于调整后的样本分布训练下一个基学习器；重复进行，直到基学习器数目达到事先指定的值T，最终将这T个基学习器加权结合。

基于梯度提升算法的学习器叫做 GBM(Gradient Boosting Machine)。理论上，GBM 可以选择各种不同的学习算法作为基学习器。GBDT 实际上是 GBM 的一种情况。

为什么梯度提升方法倾向于选择决策树作为基学习器呢？(也就是 GB 为什么要和 DT 结合，形成 GBDT) 决策树可以认为是 if-then 规则的集合，易于理解，可解释性强，预测速度快。同时，决策树算法相比于其他的算法需要更少的特征工程，比如可以不用做特征标准化，可以很好的处理字段缺失的数据，也可以不用关心特征间是否相互依赖等。决策树能够自动组合多个特征。

不过，单独使用决策树算法时，有容易过拟合缺点。所幸的是，通过各种方法，抑制决策树的复杂性，降低单颗决策树的拟合能力，再通过梯度提升的方法集成多个决策树，最终能够很好的解决过拟合的问题。由此可见，梯度提升方法和决策树学习算法可以互相取长补短，是一对完美的搭档。

至于抑制单颗决策树的复杂度的方法有很多，比如限制树的最大深度、限制叶子节点的最少样本数量、限制节点分裂时的最少样本数量、吸收 bagging 的思想对训练样本采样（subsample），在学习单颗决策树时只使用一部分训练样本、借鉴随机森林的思路在学习单颗决策树时只采样一部分特征、在目标函数中添加正则项惩罚复杂的树结构等。

演示例子：

考虑一个简单的例子来演示 GBDT 算法原理。

下面是一个二分类问题，1 表示可以考虑的相亲对象，0 表示不考虑的相亲对象。

特征维度有 3 个维度，分别对象 身高，金钱，颜值

对应这个例子，训练结果是 perfect 的，全部正确， 特征权重可以看出，对应这个例子训练结果颜值的重要度最大，看一下训练得到的树。
Tree 0:

Tree 1:

3、原理推导

3.1 目标函数

监督学习的关键概念：模型（model）、参数（parameters）、目标函数（objective function）

模型就是所要学习的条件概率分布或者决策函数，它决定了在给定特征向量时如何预测出目标。

参数就是我们要从数据中学习得到的内容。模型通常是由一个参数向量决定的函数。

目标函数通常定义为如下形式：

其中，L 是损失函数，用来衡量模型拟合训练数据的好坏程度；Ω称之为正则项，用来衡量学习到的模型的复杂度。

对正则项的优化鼓励算法学习到较简单的模型，简单模型一般在测试样本上的预测结果比较稳定、方差较小（奥坎姆剃刀原则）。也就是说，优化损失函数尽量使模型走出欠拟合的状态，优化正则项尽量使模型避免过拟合。

3.2 加法模型

GBDT 算法可以看成是由 K 棵树组成的加法模型：

如何来学习加法模型呢？

解这一优化问题，可以用前向分布算法（forward stagewise algorithm）。因为学习的是加法模型，如果能够从前往后，每一步只学习一个基函数及其系数（结构），逐步逼近优化目标函数，那么就可以简化复杂度。这一学习过程称之为 Boosting。具体地，我们从一个常量预测开始，每次学习一个新的函数，过程如下：

在第 t 步，这个时候目标函数可以写为：

举例说明，假设损失函数为平方损失（square loss），则目标函数为：

其中，称

为残差（residual）。因此，使用平方损失函数时，GBDT 算法的每一步在生成决策树时只需要拟合前面的模型的残差。

3.3 泰勒公式

定义：

泰勒公式简单的理解，就是函数某个点的取值可以用参考点取值和 n+1 阶导数的来表示，而且这个公式是有规律的比较好记。

根据泰勒公式把函数在Ｘ点处二阶展开，可得到如下等式：

则等式(1) 可转化为：

假设损失函数为平方损失函数，把对应的一阶导数和二阶导数代入等式(4) 即得等式(2)。

由于函数中的常量在函数最小化的过程中不起作用，因此我们可以从等式(4) 中移除掉常量项，得：

3.4 GBDT 算法

一颗生成好的决策树，假设其叶子节点个数为T,决策树的复杂度可以由正则项

来定义，即决策树模型的复杂度由生成的树的叶子节点数量和叶子节点对应的值向量的 L2 范数决定。

定义集合为所有被划分到叶子节点的训练样本的集合。等式(5) 可以根据树的叶子节点重新组织为 T 个独立的二次函数的和：
定义，则等式(6) 可写为：

因为一元二次函数最小值处，一阶导数等于 0:

此时，目标函数的值为

综上，为了便于理解，单颗决策树的学习过程可以大致描述为： 1. 枚举所有可能的树结构 q 2. 用等式(8) 为每个 q 计算其对应的分数 Obj，分数越小说明对应的树结构越好 3. 根据上一步的结果，找到最佳的树结构，用等式(7) 为树的每个叶子节点计算预测值

然而，可能的树结构数量是无穷的，所以实际上我们不可能枚举所有可能的树结构。通常情况下，我们采用贪心策略来生成决策树的每个节点。

1. 从深度为 0 的树开始，对每个叶节点枚举所有的可用特征
2. 针对每个特征，把属于该节点的训练样本根据该特征值升序排列，通过线性扫描的方式来决定该特征的最佳分裂点，并记录该特征的最大收益（采用最佳分裂点时的收益） 
3.  选择收益最大的特征作为分裂特征，用该特征的最佳分裂点作为分裂位置，把该节点生长出左右两个新的叶节点，并为每个新节点关联对应的样本集 
4.  回到第 1 步，递归执行到满足特定条件为止

3.5 收益的计算

如何计算每次分裂的收益呢？假设当前节点记为 C,分裂之后左孩子节点记为 L，右孩子节点记为 R，则该分裂获得的收益定义为当前节点的目标函数值减去左右两个孩子节点的目标函数值之和：

根据等式（８）可得：

其中，

项表示因为增加了树的复杂性（该分裂增加了一个叶子节点）带来的惩罚。

四、GBDT损失函数

这里我们再对常用的GBDT损失函数做一个总结。
1.对于分类算法，其损失函数一般有对数损失函数和指数损失函数两种:
(1)如果是指数损失函数，则损失函数表达式为

其负梯度计算和叶子节点的最佳残差拟合参见Adaboost原理篇。
(2)如果是对数损失函数，分为二元分类和多元分类两种，
对于二元分类

2.对于回归算法，常用损失函数有如下4种:
（1）均方差，这个是最常见的回归损失函数了

（2）绝对损失，这个损失函数也很常见

对应负梯度误差为：

（3）Huber损失，它是均方差和绝对损失的折衷产物，对于远离中心的异常点，采用绝对损失，而中心附近的点采用均方差。这个界限一般用分位数点度量。
（4）分位数损失。它对应的是分位数回归的损失函数。

五、GBDT的正则化

和Adaboost一样，我们也需要对GBDT进行正则化，防止过拟合。GBDT的正则化主要有三种方式。
（1）第一种是和Adaboost类似的正则化项，即步长(learning rate)。定义为ν,对于前面的弱学习器的迭代

如果我们加上了正则化项，则有

对于同样的训练集学习效果，较小的ν意味着我们需要更多的弱学习器的迭代次数。通常我们用步长和迭代最大次数一起来决定算法的拟合效果。

（2）第二种正则化的方式是通过子采样比例（subsample）。取值为(0,1]。注意这里的子采样和随机森林不一样，随机森林使用的是放回抽样，而这里是不放回抽样。如果取值为1，则全部样本都使用，等于没有使用子采样。如果取值小于1，则只有一部分样本会去做GBDT的决策树拟合。选择小于1的比例可以减少方差，即防止过拟合，但是会增加样本拟合的偏差，因此取值不能太低。推荐在[0.5, 0.8]之间。
　　使用了子采样的GBDT有时也称作随机梯度提升树(Stochastic Gradient Boosting Tree, SGBT)。由于使用了子采样，程序可以通过采样分发到不同的任务去做boosting的迭代过程，最后形成新树，从而减少弱学习器难以并行学习的弱点。
　　
（3）第三种是对于弱学习器即CART回归树进行正则化剪枝。在决策树原理篇里我们已经讲过，这里就不重复了。

保持简单

最后，总结一下 GBDT 的学习算法：
1. 算法每次迭代生成一颗新的决策树 ;
2.在每次迭代开始之前，计算损失函数在每个训练样本点的一阶导数和二阶导数 ;
3.通过贪心策略生成新的决策树，通过等式(7) 计算每个叶节点对应的预测值
4.把新生成的决策树

添加到模型中

易经中说道"易则易知，简则易从"，就是越是简易的东西，越是容易被理解和得到执行。很多机器学习模型都会尽量让学习到的模型尽量简单，尽量减少参数，越是简单的模型，通用性越好，也是这个道理。

Xgboost 和 GBDT 的区别：

GBDT：

GBDT 它的非线性变换比较多，表达能力强，而且不需要做复杂的特征工程和特征变换。
GBDT 的缺点也很明显，Boost 是一个串行过程，不好并行化，而且计算复杂度高，同时不太适合高维稀疏特征；
传统 GBDT 在优化时只用到一阶导数信息。

Xgboost：

它有以下几个优良的特性：

显示的把树模型复杂度作为正则项加到优化目标中。
公式推导中用到了二阶导数，用了二阶泰勒展开。（GBDT 用牛顿法貌似也是二阶信息）
实现了分裂点寻找近似算法。
利用了特征的稀疏性。
数据事先排序并且以 block 形式存储，有利于并行计算。
基于分布式通信框架 rabit，可以运行在 MPI 和 yarn 上。（最新已经不基于 rabit 了）
实现做了面向体系结构的优化，针对 cache 和内存做了性能优化。

GBDT优缺点

GBDT主要的优点有：
（1）可以灵活处理各种类型的数据，包括连续值和离散值。
（2）在相对少的调参时间情况下，预测的准备率也可以比较高。这个是相对SVM来说的。
（3）使用一些健壮的损失函数，对异常值的鲁棒性非常强。比如 Huber损失函数和Quantile损失函数。
GBDT的主要缺点有：
（1）由于弱学习器之间存在依赖关系，难以并行训练数据。不过可以通过自采样的SGBT来达到部分并行。