梯度提升决策树(GBDT)与极端梯度提升(xgboost)算法

梯度提升决策树(GBDT)

  梯度提升决策树(GBDT)算法是梯度提升(GB)算法限定基学习器是回归决策树时的模型，尤其是CART回归树，关于梯度提升(GB)可以看我的blog中对应的部分。

  这里根据GB算法，改写成使用CART回归树的GBDT算法。

算法流程

输入：训练集$T=\{(x_1,y_1),(x_2,y_2)\dots (x_N,y_N)\}$；回归树个数M；
输出：梯度提升决策树
执行流程：

1. 初始化$$f_0(x)=arg\underset{c}{\min }\sum _{i=1}^{N}L(y_i,c)$$这里初始化和传统的前向分步算法令$f_0(x)=0$不同，这里这样做应该是保证后面求偏导过程不是在零点。
2. 对第m个基回归树，求其残差近似$$r_{mi}=-[\frac{\partial L(y_i,f(x_i))}{\partial f(x_i)}{]}_{f(x)=f_{m-1}(x)}$$
3. 利用残差$r_{mi}$学习第m个基回归树，确定第m个基回归树的区域划分$R_{mj},j=1,2\dots J$。
4. 求$R_{mj}$的最终取值$c_{mj}$，$$c_{mj}=arg\underset{c}{\min }\sum _{x_i\in R_{mj}}L(y_i,f_{m-1}(x)+c)$$
5. 更新回归树$$f_m(x)=f_{m-1}(x)+\sum _{j=1}^J{c}_{mj}I(x\in R_{mj})$$若m
6. 得到最终的回归树$$F(x)=\sum _{m=1}^M\sum _{j=1}^J{c}_{mj}I(x\in R_{mj})$$

  在《统计学习方法》中，梯度提升没有基学习器的权值，但在有些文献中，会在上面的步骤4后，加一步求权值的操作，这一步定义成4.1.步骤。

4.1. 计算权值$\gamma$ $$arg\underset{{\gamma }_m}{\min }L(y_i,f_{m-1}(x)+{\gamma }_m\sum _{j=1}^J{c}_{mj}I(x\in R_{mj}))$$

对应的步骤5中，更新的模型变成$$f_m(x)=f_{m-1}(x)+{\gamma }_m\sum _{j=1}^J{c}_{mj}I(x\in R_{mj}))$$

---

极端梯度提升(xgboost)算法

  极端梯度提升(eXtreme Gradient Boosting，xgboost)可以看成改进版本的GBDT算法，xgboost限定了基学习器一定要是CART回归树(在python的xgboost模块中，基学习器还可以是线性模型或dart，但这篇blog仅推导CART回归树情况)，输出一个分数而不是类别，这样有助于我们整合所有的基CART回归树的输出结果(简单相加)，xgboost引入了并行化，所以其速度更快，同时xgboost引入了损失函数的二阶偏导，一般效果也更好。

  xgboost归根到底属于boost集成学习方法，所以其基学习器的学习是串行的，即当我们要学习第$k$个学习器时，学习的目标是前$k-1$个学习器与目标输出的残差，最终的学习器表示如下：$${\hat{y}}^{(K)}=\sum _{k=1}^K{f}_k(x),k=1,2\dots K$$

其中，$f_k(\cdot )$代表编号是$k$的基CART回归树，因此，对于输入$\{(x_1,y_1),(x_2,y_2)\dots (x_n,y_n)\}$，学习第$k$个基学习器时，我们学习的目标函数表示如下：$$\underset{f_k(x)}{\min }\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(k-1)}+f_k(x_i))$$

其中，$y_i$是第$i$条数据的真实输出，${\hat{y}}_i^{(k-1)}$是已经学习的前$k-1$个学习器对第$i$条数据的集成输出，$f_k(\cdot )$是待学习的第$k$个学习器。下面主要说明xgboost如何确定第$k$个基CART回归树的结构和叶子节点的值。

xgboost的目标函数

  我们先假设我们已经知道了第$k$个基CART回归树的结构，下面会推导xgboost对第$k$个基CART回归树的目标函数。

  xgboost比较GBDT，第一个大的改进是，为了防止过拟合，xgboost的目标函数会加入正则化项，这在CART决策树中是没有的，CART决策树会在后期进行决策树剪枝来防止过拟合，加入正则化项后的目标函数如下：$$\underset{f_k(x),\Omega (f_j)}{\min }(\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(k-1)}+f_k(x_i))+\sum _{j=1}^k\Omega (f_j))$$

这里的正则化项，我们考虑树的结构(叶子节点数量)，以及树的叶子节点的输出分数$w$，表示如下$$\Omega (f)=\gamma T+\frac{1}{2}\lambda \sum _{t=1}^T{w}_t^2$$

其中，$T$是基CART回归树的叶子节点总数，$w_t,t=1,2\dots T$是基CART回归树的第$t$个叶子节点的输出值，$\gamma 、\lambda$是正则化项的系数，属于超参数，$\gamma$与$\lambda$越大，我们越希望获得结构简单的决策树。

当训练第$k$个基CART回归树时，不难看出前$k-1$个基CART回归树的正则化项是一个常数，我们单独把它们提取到$Constant$(常数)中，目标函数变成$$\begin{gathered} \underset{f_k(x),\Omega (f_k)}{\min }\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(k-1)}+f_k(x_i))+\Omega (f_k)+Constant \\ =\underset{f_k(x),w_t}{\min }\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(k-1)}+f_k(x_i))+\gamma T+\frac{1}{2}\lambda \sum _{t=1}^T{w}_t^2+Constant \end{gathered}$$

  值得一提的是，我们待优化的目标中并没有$T$，因为我们在求解上面的损失函数时，已经假设确定了第$k$个基CART回归树的结构。

  xgboost比较GBDT，第二个大的改进是，xgboost改进了利用损失函数求残差的过程，对于更一般的损失函数表示$$l(y_i,{\hat{y}}_i^{(k-1)}+f_k(x_i))$$

我们知道$y_i$与${\hat{y}}_i^{(k-1)}$是常量，所以我们的损失函数是关于$f_k(x_i)$的函数，我们对$f_k(x_i)=0$求损失函数的二阶泰勒展开式子如下$$\begin{array}{rl}& l(y_i,{\hat{y}}_i^{(k-1)}+f_k(x_i))\\ & =l(y_i,{\hat{y}}_i^{(k-1)}+0)+\frac{\partial l}{\partial f_k(x_i)}{|}_{f_k(x_i)=0}\cdot (f_k(x_i)-0)+\frac{1}{2}\frac{{\partial }^{2}l}{\partial f_k(x_i{)}^2}{|}_{f_k(x_i)=0}\cdot (f_k(x_i)-0{)}^2\\ & =l(y_i,{\hat{y}}_i^{(k-1)})+\frac{\partial l}{\partial ({\hat{y}}_i^{(k-1)}+f_k(x_i))}\frac{\partial ({\hat{y}}_i^{(k-1)}+f_k(x_i))}{\partial f_k(x_i)}{|}_{f_k(x_i)=0}\cdot f_k(x_i)\\ & +\frac{1}{2}\frac{\partial }{\partial f_k(x_i)}\left(\frac{\partial l}{\partial ({\hat{y}}_i^{(k-1)}+f_k(x_i))}\frac{\partial ({\hat{y}}_i^{(k-1)}+f_k(x_i))}{\partial f_k(x_i)}\right){|}_{f_k(x_i)=0}\cdot f_k(x_i{)}^2\\ & =l(y_i,{\hat{y}}_i^{(k-1)})+\frac{\partial l(y_i,{\hat{y}}_i^{(k-1)})}{\partial {\hat{y}}_i^{(k-1)}}{f}_k(x_i)\\ & +\frac{1}{2}\frac{\partial (\frac{\partial l}{\partial ({\hat{y}}_i^{(k-1)}+f_k(x_i))})}{\partial ({\hat{y}}_i^{(k-1)}+f_k(x_i))}\frac{\partial ({\hat{y}}_i^{(k-1)}+f_k(x_i))}{\partial f_k(x_i)}{|}_{f_k(x_i)=0}\cdot f_k(x_i{)}^2\\ & =l(y_i,{\hat{y}}_i^{(k-1)})+\frac{\partial l(y_i,{\hat{y}}_i^{(k-1)})}{\partial {\hat{y}}_i^{(k-1)}}\cdot f_k(x_i)+\frac{1}{2}\frac{{\partial }^{2}l(y_i,{\hat{y}}_i^{(k-1)})}{\partial ({\hat{y}}_i^{(k-1)}{)}^2}\cdot f_k(x_i{)}^2\\ & =l(y_i,{\hat{y}}_i^{(k-1)})+g_i{f}_k(x_i)+\frac{1}{2}{h}_i{f}_k(x_i{)}^2\end{array}$$
其中
$$g_i=\frac{\partial l(y_i,{\hat{y}}_i^{(k-1)})}{\partial {\hat{y}}_i^{(k-1)}}={\partial }_{{\widehat{y_i}}^{(k-1)}}l(y_i,{\hat{y}}_i^{(k-1)})$$

$$h_i=\frac{{\partial }^{2}l(y_i,{\hat{y}}_i^{(k-1)})}{\partial ({\hat{y}}_i^{(k-1)}{)}^2}={\partial }_{{\widehat{y_i}}^{(k-1)}}^{2}l(y_i,{\hat{y}}_i^{(k-1)})$$

为何要用二阶泰勒展开来替代原损失函数？因为这样我们就构造出了关于$f_k(x_i)$的二次函数，我们直接利用二次函数就可以求解损失函数最小值，简化了运算。所以，这里的损失函数要选择可以进行二阶泰勒展开的函数。

我们将上面推出来的损失函数带回到目标函数，化简得到$$\begin{gathered} \underset{f_k(x),w_t}{\min }\sum _{i=1}^{n}l(y_i,{\hat{y}}_i^{(k-1)}+f_k(x_i))+\gamma T+\frac{1}{2}\lambda \sum _{t=1}^T{w}_t^2+Constant \\ =\underset{f_k(x),w_t}{\min }\sum _{i=1}^n(l(y_i,{\hat{y}}_i^{(k-1)})+g_i{f}_k(x_i)+\frac{1}{2}{h}_i{f}_k(x_i{)}^2)+\gamma T+\frac{1}{2}\lambda \sum _{t=1}^T{w}_t^2+Constant \end{gathered}$$

由于$l(y_i,{\hat{y}}_i^{(k-1)})$是常数，我们把它融入$Constant$后，删去常数$Constant$，得到$$\underset{f_k(x),w_t}{\min }\sum _{i=1}^n(g_i{f}_k(x_i)+\frac{1}{2}{h}_i{f}_k(x_i{)}^2)+\gamma T+\frac{1}{2}\lambda \sum _{t=1}^T{w}_t^2$$

根据上面关于$g_i$与$h_i$的定义，我们不难知道$g_i$与$h_i$同样是常数，同时考虑到$f_k(x_i)=w$，所以我们改变一下求和的顺序，并合并$f_k(x)$与$w$，得到新的目标函数如下$$\underset{w_t}{\min }\sum _{t=1}^T((\sum _{f_k(x_j)=w_t}{g}_j)w_t+\frac{1}{2}(\sum _{f_k(x_j)=w_t}{h}_j+\lambda )w_t^2)+\gamma T$$

我们进一步定义$$G_t=\sum _{f_k(x_j)=w_t}{g}_j$$

$$H_t=\sum _{f_k(x_j)=w_t}{h}_j$$

则目标函数进一步变成$$\underset{w_t}{\min }\sum _{t=1}^T(G_t{w}_t+\frac{1}{2}(H_t+\lambda )w_t^2)+\gamma T$$

确定基CART树的叶子节点输出

  不难看出来，这是$T$个关于$w_t$的独立的二次函数，我们只需让每一个二次函数取最小值即可，也就是$$w_t=-\frac{G_t}{H_t+\lambda }$$

在其它很多blog中没有提及的是，二次函数只在二次项系数大于0时，才有最小值，所以我们要求$$H_t+\lambda >0$$

$H_t$是很多损失函数关于$f_k(x_i)$的二阶偏导数的和，所以我们的损失函数选择时要考虑这一点，损失函数既要满足有二阶导数(二阶泰勒展开的需要)，同时损失函数要满足$H_t+\lambda >0$，目前来看，平方损失函数和指数损失函数是满足的。

  同时我们也得到了目标函数的相对值(相对值意思是，目标函数中其实没有考虑上面省去的$Constant$)$$\sum _{t=1}^T(-\frac{G_t^2}{2(H_t+\lambda )})+\gamma T$$

  值得一提的是，上面的$G_t、H_t、\lambda 、\gamma$和真实输出$y_i$没有关系，所以基CART树的叶子节点输出和真实输出$y_i$没有关系，只和残差有关。

确定基CART树的结构

  确定基CART树的结构的方法主要是，递归的确定叶节点是否适合被分割(延伸)。根据上面目标函数的最后取值，我们不难推出基CART回归树的延伸条件，对于某个我们想要延伸的叶子节点$t_x$，我们计算其延伸前的目标函数值$$ob{j}_1=\sum _{t=1}^T(-\frac{G_t^2}{2(H_t+\lambda )})+\gamma T$$

遍历所有特征的所有可能取值，按照每个取值延伸后，计算延伸后的目标函数值，$t_x$分割出两个新的叶子节点$t_1$与$t_2$$$ob{j}_2=\sum _{t=1}^{T+1}(-\frac{G_t^2}{2(H_t+\lambda )})+\gamma (T+1)$$

两者求差$$ob{j}_1-ob{j}_2=(\frac{G_{t_1}^2}{2(H_{t_1}+\lambda )}+\frac{G_{t_2}^2}{2(H_{t_2}+\lambda )}-\frac{G_{t_x}^2}{2(H_{t_x}+\lambda )})-\gamma$$

我们利用取得最大值的特征及其取值，来分割叶子节点$t_x$，当然这个最大差值至少要大于零，或者大于某个设定的阈值。

xgboost的并行计算

  虽然xgboost中基CART树之间是串行的，但是单个基CART树的生成可以利用并行计算，例如某一节点的延伸，需要遍历诸多特征和特征取值，这一遍历的过程，我们可以利用多线程并行计算，同时不同记录的一阶偏导$g_i$、二阶偏导$h_i$相互直接也是独立的，我们可以利用并行化完成。

xgboost的过拟合处理

  xgboost除了可以给目标函数添加正则化项来缓解过拟合外，还有限制树的最大深度，收缩(Shrinkage)以及特征子采样(Column Subsampling)等方法。

  限制树的最大深度好理解，收缩(Shrinkage)主要是指给新生成的基CART回归树的叶子结点的输出乘一个收缩系数$\eta$，防止某个基CART回归树影响过大，留更多的学习空间，给后面迭代生成的基CART回归树。

  特征子采样(Column Subsampling)是指随机选取部分特征来学习，不遍历整个特征集合，主要有两种实现方式，一种是按层随机采样，对于要学习的基CART回归树的某一层，我们随机选出部分特征，该层的节点的延伸只考虑这些特征；另一种是先采样出部分特征，在按这些特征生成整个基CART回归树。一般第一种效果更好。

---

参考文献：
一步一步理解GB、GBDT、xgboost：https://www.cnblogs.com/wxquare/p/5541414.html
xgboost的原理没你想像的那么难：https://www.jianshu.com/p/7467e616f227
XGBoost——机器学习（理论+图解+安装方法+python代码）：https://blog.csdn.net/huacha__/article/details/81029680
一文读懂机器学习大杀器XGBoost原理 ：http://blog.itpub.net/31542119/viewspace-2199549/
xgboost原理及应用–转(有一些可下载的百度云盘文件)：https://www.cnblogs.com/zhouxiaohui888/p/6008368.html
陈天奇做的XGBoost为什么能横扫机器学习竞赛平台？https://mp.weixin.qq.com/s/lSlRpSD9KWPcSuJbH0LYBg