ML算法推导细节07—梯度提升决策树GBDT

探究算法细节，深入了解算法原理

1. CART回归树

• 无论是处理回归问题还是二分类以及多分类，GBDT使用的决策树都是CART回归树
• 为什么不用CART分类树呢？因为GBDT每次迭代要拟合的是梯度值（连续值所以要用回归树）

1.1 回归树与分类树的区别

• 样本输出：分类树是离散值，回归树是连续值
• 预测时：分类树采用叶子节点多数属类，回归树采用叶子节点的均值
• 损失度量：分类树采用基尼系数，回归树采用平方误差

回归树算法最重要的是：寻找最佳的划分点，可划分点包含了所有特征的所有取值。

1.2 CART回归树损失函数

CART回归树的度量目标：对于特征A的取值s，划分成的数据集D1和D2，使D1和D2各自集合的均方差最小，同时D1和D2的均方差之和最小。

表达式为：

$$\underset{A,s}{\min }\left[\underset{c_1}{min}\sum _{x_i\in D_1(A,s)}{\left(y_i-c_1\right)}^2+\underset{c_2}{\min }\sum _{x_i\in D_2\left(A_{,s}\right)}{\left(y_i-c_2\right)}^2\right]$$

• 其中，$c_1$为$D_1$数据集的样本输出均值，$c_2$为$D_2$数据集的样本输出均值。
• 遍历变量$A$，对固定的切分变量 $A$ 扫描切分点 $s$，选择使得上式达到最小值的 $(A,s)$ 对。

1.3 CART回归树模型

将输入空间划分成 $J$ 个区域，即 $J$ 个叶子节点。

每个划分区域的输出值为：

$$c_j=\frac{1}{N_j}\sum _{x_i\in R_j}{y}_i$$

生成的决策树模型为：

$$f(x)=\sum _{j=1}^J{c}_{j}I(x\in R_j)$$

2. 提升树算法

提升树以分类树或回归树为弱学习器，被认为是统计学习中性能最好的方法之一。

• 提升树模型：决策树的加法模型，前向分步算法
• 通过经验风险最小化确定下一棵决策树的参数

针对不同问题的提升树学习算法：主要区别是损失函数不同

• 使用平方误差损失函数的回归问题
• 使用指数损失函数的分类问题
• 使用一般损失函数的一般决策问题

对于二分类问题，提升树算法将AdaBoost的弱学习器限定为二类分类树即可

2.1 回归问题的提升树算法

（1）前向分步算法，初始提升树 $f_0(x)=0$

（2）第 $t$ 步的模型是：

$$f_t(x)=f_{t-1}(x)+h_t(x,{\theta }_t)$$

其中，$f_{t-1}(x)$ 为当前模型，$h_t(x,{\theta }_t)$表示第 $t$ 棵决策树，${\theta }_t$ 为决策树参数

（3）通过经验风险最小化确定下一棵决策树的参数 ${\theta }_t$

$${\hat{\theta }}_t=\arg \underset{{\theta }_t}{\min }\sum _{i=1}^{m}L\left(y_i,f_{t-1}(x_i)+h_t(x_i,{\theta }_t)\right)$$

（4）决策树可以表示为：

$$h_t(x,{\theta }_t)=\sum _{j=1}^J{c}_{tj}I(x\in R_{tj})$$

其中 $J$ 是回归树的复杂度即叶子节点个数，$R_{tj}$ 表示第 $t$ 棵树的叶子节点区域，$c_{tj}$表示每个叶子节点区域的输出值

（5）学习到的强学习器为：

$$f_T(x)=\sum _{t=1}^T{h}_t(x,{\theta }_t)$$

（6）采用平方误差损失函数

$$L(y,f(x))=[y-f_{t-1}(x)-h_t(x){]}^2=[r-h_t(x){]}^2$$

$$r=y-f_{t-1}(x)$$

其中 $r$ 表示当前模型拟合数据的残差，对于回归问题的提升树算法来说，只需要拟合当前模型的残差。

2.2 回归问题的提升树算法流程

• 初始化 $f_0(x)=0$
• 计算残差 $r_{ti}=y_i-f_{t-1}(x_i)$
• 拟合残差 $r_{ti}$，学习一个回归树 $h_t(x,{\theta }_t)$
• 更新 $f_t(x)=f_{t-1}(x)+h_t(x)$
• 得到回归问题的提升树 $f_T(x)={\sum }_{t=1}^T{h}_t(x,{\theta }_t)$

2.3 回归问题的提升树算法例子

【例子出自 李航《统计学习方法》P149，例8.2】

训练数据表

$x_i$	1	2	3	4	5	6	7	8	9	10
$y_i$	5.56	5.70	5.91	6.40	6.80	7.05	8.90	8.70	9.00	9.05

（1）求 $f_1(x)$，即回归树 $h_1(x)$

通过以下优化问题，求解训练数据的划分点 $s$

$$\underset{A,s}{\min }\left[\underset{c_1}{min}\sum _{x_i\in D_1(A,s)}{\left(y_i-c_1\right)}^2+\underset{c_2}{\min }\sum _{x_i\in D_2\left(A_{,s}\right)}{\left(y_i-c_2\right)}^2\right]$$

当 $s=6.5$ 时，损失值最小，此时 $R_1=\{1,2,3,4,5,6\},R_2=\{7,8,9,10\},c_1=6.24,c_2=8.91$

所以回归树 $h_1(x)$ 为

$$h_1(x)=\{\begin{array}{c}6.24,x<6.5\\ 8.91,x\ge 6.5\end{array}$$

$$f_1(x)=h_1(x)$$

（2）用 $f_1(x)$ 拟合训练数据的残差

$$r_{2i}=y_i-f_1(x_i)$$

$x_i$	1	2	3	4	5	6	7	8	9	10
$r_{2i}$	-0.68	-0.54	-0.33	0.16	0.56	0.81	-0.01	-0.21	0.09	0.14

用 $f_1(x)$ 拟合训练数据的平方损失误差为：

$$L(y,f_1(x))=\sum _{i=1}^{10}(y_i-f_1(x_i){)}^2=1.93$$

（3）求 $h_2(x)$，与求 $h_1(x)$ 方法一致，训练的数据是 $r_{2i}$ 残差表

当 $s=3.5$ 时，损失值最小，此时 $R_1=\{1,2,3\},R_2=\{4,5,6,7,8,9,10\},c_1=-0.52,c_2=0.22$

所以回归树 $h_2(x)$ 为

$$h_2(x)=\{\begin{array}{c}-0.52,x<3.5\\ 0.22,x\ge 3.5\end{array}$$

$$f_2(x)=f_1(x)+h_2(x)=\{\begin{array}{rcl}5.72,& & x<3.5\\ 6.46,& & 3.5\le x<3.5\\ 9.13,& & x\ge 6.5\end{array}$$

用 $f_2(x)$ 拟合训练数据的平方损失误差为：

$$L(y,f_2(x))=\sum _{i=1}^{10}(y_i-f_2(x_i){)}^2=0.79$$

（4）同理，求$h_3(x),h_4(x),h_5(x),h_6(x)$

$$h_3(x)=\{\begin{array}{c}0.15,x<6.5\\ -0.22,x\ge 6.5\end{array}L(y,f_3(x))=0.47$$

$$h_4(x)=\{\begin{array}{c}-0.16,x<4.5\\ 0.11,x\ge 4.5\end{array}L(y,f_4(x))=0.30$$

$$h_5(x)=\{\begin{array}{c}0.07,x<6.5\\ -0.11,x\ge 6.5\end{array}L(y,f_5(x))=0.23$$

$$h_6(x)=\{\begin{array}{c}-0.15,x<2.5\\ 0.04,x\ge 2.5\end{array}$$

$$f_6(x)=f_5(x)+h_6(x)=h_1(x)+h_2(x)+...+h_6(x)$$

$$f_6(x)=\{\begin{array}{rcl}5.63,& & x<2.5\\ 5.82,& & 2.5\le x<3.5\\ 6.56,& & 3.5\le x<4.5\\ 6.83,& & 4.5\le x<6.5\\ 8.95,& & x\ge 6.5\end{array}$$

$$L(y,f_6(x))=0.17$$

假设此时已满足误差要求，则 $f(x)=f_6(x)$即为所求的提升树模型。

2.4 提升树算法的通俗理解

• 假如有个人30岁，我们首先用20岁去拟合，发现损失有10岁。这时我们用6岁去拟合剩下的损失，发现差距还有4岁。第三轮我们用3岁拟合剩下的差距，差距就只有一岁了。
• 如果我们的迭代轮数还没有完，可以继续迭代下面，每一轮迭代，拟合的岁数误差都会减小。
• 最后将每次拟合的岁数加起来便是模型输出的结果。

3. 梯度提升树算法

• 提升树利用加法模型与前向分步算法实现学习的优化过程，当损失函数是平方损失和指数损失时，每一步的优化很简单。
• 但对一般损失函数而言，每一步的优化并不容易，Freidman提出梯度提升算法，这是利用最速下降法的近似方法
• 其关键是利用损失函数的负梯度作为回归问题提升树算法中的残差的近似值，拟合一个回归树。

$$r_{ti}=-{\left[\frac{\partial L(y_i,f(x_i))}{\partial f(x_i)}\right]}_{f(x)=f_{t-1}(x)}$$

GBDT限定弱学习器是CART回归树

通过损失函数的负梯度来拟合，我们找到了一种通用的拟合损失误差的办法，这样无轮是分类问题还是回归问题，都可以用GBDT解决。

3.1 GBDT回归算法流程

（1）初始化

$$f_0(x)=\arg \underset{c}{\min }\sum _{i=1}^{m}L(y_i,c)$$

其中 $L(y,f(x))$ 为损失函数

估计使损失函数极小化的常数值，它是只有一个根节点的树

（2）计算损失函数的负梯度，作为残差的估计

$$r_{ti}=-{\left[\frac{\partial L(y_i,f(x_i))}{\partial f(x_i)}\right]}_{f(x)=f_{t-1}(x)}$$

• 对于平方损失函数，它就是通常所说的残差。如下式所示：

$$L(y_i,f(x_i))=\frac{1}{2}(y_i-f(x_i){)}^2,-{\left[\frac{\partial L(y_i,f(x_i))}{\partial f(x_i)}\right]}_{f(x)=f_{t-1}(x)}=y_i-f(x_i)$$

• 对于一般损失函数，它是残差的近似值

（3）利用 $(x_i,r_{ti})$ 拟合一个回归树，得到第 $t$ 棵树的叶节点区域 $R_{tj}$，叶节点个数为 $J$

针对每一个叶子节点里的样本，求出使损失函数最小，也就是拟合叶子节点最好的的输出值$c_{tj}$

$$c_{tj}=\arg \underset{c}{\min }\sum _{x_i\in R_{tj}}L(y_i,f_{t-1}(x_i)+c)$$

• 利用线性搜索，估计叶子节点区域的值，使损失函数极小化

（4）得到本轮决策树模型为：

$$h_t(x)=\sum _{j=1}^J{c}_{tj}I(x\in R_{tj})$$

（5）更新强学习器

$$f_t(x)=f_{t-1}(x)+\sum _{j=1}^J{c}_{tj}I(x\in R_{tj})$$

（6）得到最终的强学习器

$$f(x)=f_T(x)=f_0(x)+\sum _{t=1}^T\sum _{j=1}^J{c}_{tj}I(x\in R_{tj})$$

3.2 GBDT分类算法

由于样本输出不是连续值，而是离散的类别，无法直接从输出类别去拟合误差。

为了解决这个问题，主要有两个方法：

（1）用指数损失函数，此时GBDT退化为Adaboost算法。

（2）用类似于逻辑回归的对数似然损失函数的方法。即用类别的预测概率值和真实概率值的差来拟合损失。

3.2.1 二元GBDT分类算法

对于二元GBDT，如果用类似于逻辑回归的对数似然损失函数，则损失函数为：

$$L(y,f(x))=log(1+exp(-yf(x)))$$

其中 $y\in \{-1,1\}$，此时的负梯度误差为：

$$r_{ti}=-{\left[\frac{\partial L(y_i,f(x_i))}{\partial f(x_i)}\right]}_{f(x)=f_{t-1}(x)}=\frac{y_i}{1+exp(y_{i}f(x_i))}$$

对于生成的决策树，各个叶子节点的最佳负梯度拟合值为：

$$c_{tj}=\arg \underset{c}{\min }\sum _{x_i\in R_{tj}}log[1+exp(-y_i(f_{t-1}(x_i)+c))]$$

由于上式比较难以优化，一般用近似值代替：

$$c_{tj}=\frac{{\sum }_{x_i\in R_{tj}}{r}_{tj}}{{\sum }_{x_i\in R_{tj}}|r_{tj}|(1-|r_{tj}|)}$$

除了负梯度计算和叶子节点的最佳负梯度拟合的线性搜索，二元GBDT分类和GBDT回归算法过程相同。

3.2.2 多元GBDT分类算法

多元GBDT要比二元GBDT复杂一些，对应的是多元逻辑回归和二元逻辑回归的复杂度差别。

（1）假设类别数为 $K$，如果样本输出类别为 $k$，则 $y_k=1$。第 $k$ 类的概率 $p_k(x)$的表达式为：

$$p_k(x)=\frac{exp(f_k(x))}{{\sum }_{l=1}^{K}exp(f_l(x))}$$

（2）对数似然损失函数为：

$$L(y,f(x))=-\sum _{k=1}^K{y}_{k}log[p_k(x)]$$

（3）第 $t$ 轮的第 $i$ 个样本对应类别 $l$ 的负梯度误差为：

$$r_{til}=-{\left[\frac{\partial L(y_i,f(x_i))}{\partial f(x_i)}\right]}_{f_k(x)=f_{l,t-1}(x)}=y_{il}-p_{l,t-1}(x_i)$$

这里的误差就是样本 $i$ 对应类别 $l$ 的真实概率和 $t-1$ 轮预测概率的差值。

（4）对于生成的决策树，各个叶子节点的最佳负梯度拟合值为：

$$c_{tjl}=\arg \underset{c_{jl}}{\min }\sum _{i=1}^m\sum _{l=1}^{K}L(y_{il},f_{l,t-1}(x_i)+\sum _{j=1}^J{c}_{jl}I(x_i\in R_{tjl}))$$

由于上式比较难以优化，采用近似值代替：

$$c_{tjl}=\frac{K-1}{K}\frac{{\sum }_{x_i\in R_{tjl}}{r}_{tjl}}{{\sum }_{x_i\in R_{tjl}}|r_{tjl}|(1-|r_{tjl}|)}$$

4. GBDT常用损失函数

4.1 分类算法

• 指数损失函数，$L(y,f(x))=exp(-yf(x))$
• 对数似然损失函数，$L(y,f(x))=-{\sum }_{k=1}^K{y}_{k}log[p_k(x)]$

4.2 回归算法

• 均方差 $L(y,f(x))=(y-f(x){)}^2$
• 绝对损失 $L(y,f(x))=|y-f(x)|$，负梯度为 $sign(y_i-f(x_i))$
• Huber损失，是均方差和绝对损失的折衷产物。对于远离中心的异常点采用绝对损失，而中心附近的点采用均方差。这个界限一般用分位数点度量。

$$L(y,f(x))=\{\begin{array}{rcl}\frac{1}{2}(y-f(x){)}^2,& & |y-f(x)|\le \delta \\ \delta sign(|y-f(x)|-\delta /2),& & |y-f(x)|>\delta \end{array}$$

• 分位数损失，对应的是分位数回归的损失函数

$$L(y,f(x))=\sum _{y\ge f(x)}\theta |y-f(x)|+\sum _{y<f(x)}(1-\theta )|y-f(x)|$$

Huber损失，分位数损失，主要用于健壮回归，即减少异常点对损失函数的影响。

5. GBDT的正则化

3种正则化方法

（1）和 AdaBoost类似的正则项，步长 $v$ (learning rate)

$$f_t(x)=f_{t-1}(x)+v{h}_t(x)$$

• 较小的 $v$ 需要更多的弱学习器迭代次数
• 步长通常和最大迭代次数一起来决定算法的拟合效果

（2）对弱学习器，即CART回归树进行正则化剪枝

（3）通过子采样比例 (sub_sample)，取值 $(0,1]$

• 这里的子采样与随机森林不同，随机森林是放回抽样，GBDT是不放回抽样。
• 如果取值为1，则全部样本都使用，等于没有使用子采样。
• 如果取值小于1，则只有部分样本会去做GBDT的决策树拟合。
• 选择小于1的比例，可以减少方差，即防止过拟合，但会增加样本拟合的偏差。因此取值不能太低，推荐$[0.5,0.8]$ 之间

使用子采样的GBDT有时也被称为随机梯度提升树，SGBT。

5.1 GBDT的并行化

由于使用了子采样，程序可以通过采样，分发到不同的任务去做boosting的迭代过程。最后形成新树，从而减少弱学习器难以并行学习的弱点。实现部分并行。

6. sklearn.ensemble.GradientBoost

class sklearn.ensemble.GradientBoostingClassifier(loss=’deviance’,
learning_rate=0.1, n_estimators=100, subsample=1.0,
criterion=’friedman_mse’, min_samples_split=2, min_samples_leaf=1,
min_weight_fraction_leaf=0.0, max_depth=3, min_impurity_decrease=0.0,
min_impurity_split=None, init=None, random_state=None, max_features=None,
verbose=0, max_leaf_nodes=None, warm_start=False, presort=’auto’,
validation_fraction=0.1, n_iter_no_change=None, tol=0.0001)

class sklearn.ensemble.GradientBoostingRegressor(loss=’ls’,
learning_rate=0.1, n_estimators=100, subsample=1.0,
criterion=’friedman_mse’, min_samples_split=2, min_samples_leaf=1,
min_weight_fraction_leaf=0.0, max_depth=3, min_impurity_decrease=0.0,
min_impurity_split=None, init=None, random_state=None, max_features=None,
alpha=0.9, verbose=0, max_leaf_nodes=None, warm_start=False,
presort=’auto’, validation_fraction=0.1, n_iter_no_change=None, tol=0.0001)

6.1 GBDT中Boosting框架参数

• loss：损失函数。（1）分类问题可选deviance(对数似然损失)，exponential(指数损失函数)；（2）回归问题可选ls(均方差)，lad(绝对损失)，huber(Huber损失)，quantile(分位数损失)；（3）噪声点不多一般选默认的ls，噪声点多一般选huber，需要对训练集进行分段预测选quantile。
• learning_rate：步长，正则化系数
• n_estimators：弱学习器个数，太大过拟合，太小欠拟合。与learning_rate一起考虑。
• subsample：子采样比例，小于1可以防止过拟合，推荐 $[0.5,0.8]$
• criterion：衡量决策树分裂的好坏，类似于基尼系数，信息增益。这里可选 friedman_mse，mse，mae。分别为最小平方误差的近似，最小平方误差，最小平均绝对值。
• init：初始化时的弱学习器，$f_0(x)$，如果不输入，则用训练集做初始化预测。
• alpha：回归问题采才有，使用Huber损失和分位数损失时，需要指定分位数的值。默认0.9，如果噪音点较多，可以适当降低这个分位数的值。
• n_iter_no_change=None：当validation score不提高时早停
• validation_fraction：为了早停预留的验证集比例
• tol=0.0001：损失减少小于该数值，早停

6.2 GBDT中弱学习器参数

• min_samples_split=2
• min_samples_leaf=1,
• min_weight_fraction_leaf=0.0
• max_depth=3,
• min_impurity_decrease=0.0
• min_impurity_split=None
• max_features=None
• max_leaf_nodes=None

参考博客
1. 梯度提升树(GBDT)原理小结
2. GBDT算法原理以及实例理解
3. 李航, 统计学习方法
4. sklearn GBDT文档
5. sklearn GBDT源码