XGBoost原理详解

0 引言

XGBoost是在GBDT、RGF等算法的基础上改进而来，其性能优异，已经在各大竞赛中广泛使用，尤其这是陈天奇大神主导的研究成果，不管是算法原理还是算法的实现都值得仔细研读。

1 建模

给定一个数据集，该数据集中有n个样例，每个样例有m个feature和1个output，用集合表达如下：
$$D=\{(X_i,y_i)|x_i\in {\mathbb{R}}^m,y_i\in \mathbb{R},i\in {\mathbb{N}}^{+}\}$$
基于该数据集做预测我们首先需要建立合适的预测模型，对于分类和回归问题常用的方法就是将训练任务转化成优化问题的求解；xgboost算法也不例外。
xgboost算法使用了模型集成，确切地说就是使用K个决策树模型依据输入${\mathbf{x}}_i$输出结果，将这K个输出结果求和后得到$y_i$,，用公式表达如下：
$$y_i=\varphi ({\mathbf{x}}_i)=\sum _{k=1}^K{f}_k({\mathbf{x}}_i),f_k\in \mathcal{F}\text{\hspace{1em}(1)}$$
其中,

• $\mathcal{F}=\{f(x)=w_{q(x)}\}(q:{\mathbb{R}}^m\to T,w\in {\mathbb{R}}^T)$是回归树集合，常见的回归树如CART等;
• q代表每一个回归树的结构；
• $T$是回归树的叶子数量；
• $f_k$代表第k个回归树的输入输出函数关系，每个$f_k$与第k个回归树的结构q和叶子节点权重w相对应；
• $w_i$表示第i个叶子节点的score；

公式1的含义也可以用如下图表示：

xgboost模型为了学习出每一个$f_k$函数，建立了如下面公式2的带正则化项的目标函数，优化的方向是最小化该目标函数：
$$\begin{gathered} L(\varphi )=\sum l(y_i,y_i)+\sum _k\Omega (f_k), \\ where\Omega (f)=\gamma T+\frac{1}{2}\lambda \Vert w{\Vert }^2\text{\hspace{1em}(2)} \end{gathered}$$
其中，

• $l$是可微的凸函数，代表预测值$y_i$和实际值$y_i$之间的差距；
• $\Omega (f_k)$是每一个模型$f_k$的复杂度的惩罚项，该惩罚项用来平滑模型最终学习到的权重防止过拟合和限制叶子节点总数，因为该惩罚项不仅包含了L2正则化项，还包含了对叶子节点数的惩罚；

根据Boosting算法，对于前面的公式1进行迭代：
$$y_i=\varphi ({\mathbf{x}}_i)=\sum _{k=1}^K{f}_k({\mathbf{x}}_i),f_k\in \mathcal{F}$$
考虑到迭代次数t时，该公式可以写成如下形式：
$$y_i^{(k)}={\varphi }^{(k)}({\mathbf{x}}_i)=\sum _{k=1}^t{f}_k({\mathbf{x}}_i),f_k\in \mathcal{F}$$
第0次迭代，初始化：
$$y_i^{(0)}=0$$
第1次迭代，
$$y_i^{(1)}=f_1({\mathbf{x}}_i)$$
第2次迭代，
$$y_i^{(2)}=f_1({\mathbf{x}}_i)+f_2({\mathbf{x}}_i)=y_i^{(1)}+f_2({\mathbf{x}}_i)$$
第t次迭代，
$$y_i^{(t)}=\sum _{k=1}^t{f}_k({\mathbf{x}}_i)=y_i^{(t-1)}+f_t({\mathbf{x}}_i)\text{\hspace{1em}(3)}$$
我们将公式3带入公式2可以进一步改进目标函数，在第t次迭代的目标函数:
$$\begin{gathered} L(\varphi {)}^{(t)}=\sum l(y_i^{(t)},y_i^{(t-1)}+f_t({\mathbf{x}}_i))+\Omega (f_t), \\ where\Omega (f)=\gamma T+\frac{1}{2}\lambda \Vert w{\Vert }^2\text{\hspace{1em}(4)} \end{gathered}$$

值得一提的是 ，更早出现的GBDT算法就是一个Boosting算法，它由多个回归树（CART）组合起来进行预测的模型。
但是GBDT有不足的地方：

• 每一次的迭代中的唯一目标就是学习出 一颗决策树，从而将单棵树的学习与整个森林的学习分隔开，没有很好地利用决策树本身的性质。新增的决策树只改变了本身的参数而没有改变老树的参数，实际上相当于只做了一个局部的搜索；
• 为了避免训练出来过拟合的模型，GBDT需要控制学习步长 s，这种情况可能会造成需要无穷多棵决策树才能很好的完成拟合；

现在再回到我们的目标函数处理中，结合式子3和式子4我们可以发现目标函数在迭代计算中$f_t(x_i)$可以贪心地加入到其中。由于二阶导数能够更快的优化目标函数，作者将损失函数$l(y_i^{(t)},y_i^{(t-1)}+f_t(x_i))$分解为二阶泰勒级数使目标函数变成了如下形式：
$$\begin{gathered} L(\varphi {)}^{(t)}\simeq \sum [l(y_i^{(t)},y_i^{(t-1)})+g_i{f}_t({\mathbf{x}}_i)+\frac{1}{2}{h}_i{f}_t^2({\mathbf{x}}_i)]+\Omega (f_t), \\ where\Omega (f)=\gamma T+\frac{1}{2}\lambda \Vert w{\Vert }^2, \\ {g}_i={\partial }_{y^{(t-1)}}l(y_i,y^{(t-1)}), \\ {h}_i={\partial }_{y^{(t-1)}}^{2}l(y_i,y^{(t-1)})\text{\hspace{1em}(5)} \end{gathered}$$
其中，$g_i,h_i$分别是损失函数$l(y_i^{(t)},y_i^{(t-1)}+f_t(x_i))$关于$f_t(x_i)$的一阶导数和二阶导数；

从公式4到公式5的推导看起来不是那么好理解，我们先看二阶泰勒展开式的原始形式，即当$\Delta x$足够小时，有以下近似等式成立：
$$f(x+\Delta x)\simeq f(x)+f^{{}^{\prime }}(x)\Delta x+f^{{}^{\prime \prime }}(x)\Delta x^2$$
如何应用这个等式到公式5的呢？
我们可以把x看作$y_i^{(t-1)}$，把$\Delta x$看作$f_t({\mathbf{x}}_i)$，把$f(x+\Delta x)$看作损失函数$l(y_i^{(t)},y_i^{(t-1)}+f_t({\mathbf{x}}_i))$,带入二阶泰勒展开式就能得到上面的公式5了。

由于在第t次迭代时$y_i^{(t-1)}$的值已经在t-1次迭代计算出来了，所以$l(y_i^{(t)},y_i^{(t-1)})$是已知常数项。将目标函数中的常数项移除，优化方向没有改变，第t次迭代的目标函数简化为如下形式：
$$\begin{gathered} L(\varphi {)}^{(t)}=\sum [g_i{f}_t({\mathbf{x}}_i)+\frac{1}{2}{h}_i{f}_t^2({\mathbf{x}}_i)]+\Omega (f_t) \\ =\sum [g_i{f}_t({\mathbf{x}}_i)+\frac{1}{2}{h}_i{f}_t^2({\mathbf{x}}_i)]+\gamma T+\frac{1}{2}\lambda \Vert w{\Vert }^2\text{\hspace{1em}(6)} \end{gathered}$$

那么，我们如何评价单个决策树结构的优劣呢？
单个决策树结构的评价方法如下图所示：

定义 $I_j=\{i|q(x_i)=j\}$ 为分到叶子结点$j$的样本数据集合；
定义$w_i=f({\mathbf{x}}_i)$
第t次迭代的目标函数（6）可以进一步归纳为如下形式：
$$\begin{gathered} L(\varphi {)}^{(t)}=\sum _{i=1}^n[g_i{f}_t({\mathbf{x}}_i)+\frac{1}{2}{h}_i{f}_t^2({\mathbf{x}}_i)]+\gamma T+\frac{1}{2}\lambda \Vert w_j{\Vert }^2 \\ =\sum _{j=1}^T[\sum _{i\in I_j}{g}_i{w}_j+\frac{1}{2}(\sum _{i\in I_j}{h}_i+\lambda )w_j^2]+\gamma T \\ =\sum _{j=1}^T[\frac{1}{2}(\sum _{i\in I_j}{h}_i+\lambda )(w_j+\frac{{\sum }_{i\in I_j}{g}_i}{{\sum }_{i\in I_j}{h}_i+\lambda }{)}^2-\frac{({\sum }_{i\in I_j}{g}_i{)}^2}{2({\sum }_{i\in I_j}{h}_i+\lambda )}]+\gamma T\text{\hspace{1em}(7)} \end{gathered}$$
由上述公式的推导可以看出，在固定决策树结构$q(x)时，$叶子结点$j$的最优权值$w_j^{\ast }$为如下：
$$w_j^{\ast }=-\frac{{\sum }_{i\in I_j}{g}_i}{{\sum }_{i\in I_j}{h}_i+\lambda }\text{\hspace{1em}(8)}$$
此时的目标函数最优值$L^{(t)}(q)$为:
$$L^{(t)}(q)=-\frac{1}{2}\sum _{j=1}^T\frac{({\sum }_{i\in I_j}{g}_i{)}^2}{{\sum }_{i\in I_j}{h}_i+\lambda }+\gamma T\text{\hspace{1em}(9)}$$
在实践中，我们不可能遍历所有可能结构的决策树$q(\mathbf{x})$，所以可采用贪心算法在叶子上迭代式添加分支节点扩展决策树。
假设一个叶子结点被分裂出左右两个子节点，这两个子节点的样本集$I_L,I_R$和父节点的样本集$I$满足如下关系：
$$I=I_L\cup I_R$$
那么，如何找到最佳的样本集分裂点呢？换句话说就是什么样的分割点是最佳分裂点呢？
首先，我们用分裂点的损失减少量$L_{split}$评价一个分割点的优劣，损失减少量$L_{split}$计算公式如下：
$$L_{split}=\frac{1}{2}[\frac{({\sum }_{i\in I_L}{g}_i{)}^2}{{\sum }_{i\in I_L}{h}_i+\lambda }+\frac{({\sum }_{i\in I_R}{g}_i{)}^2}{{\sum }_{i\in I_R}{h}_i+\lambda }-\frac{({\sum }_{i\in I}{g}_i{)}^2}{{\sum }_{i\in I}{h}_i+\lambda }]-\gamma \text{\hspace{1em}(10)}$$
然后，我们把父节点中每一个样本都作为分裂点计算一次，找到使损失减少量最大的那个分裂点就是样本集最佳分裂点。

1.1 小结

经过上面推导式地叙述，我们搞清了两个非常关键的问题：
（1）模型每次迭代都产生新的决策树，损失函数也是迭代式地改变。模型第t次迭代时的损失函数是上述公式9，这里再写一遍：
$$L^{(t)}(q)=-\frac{1}{2}\sum _{j=1}^T\frac{({\sum }_{i\in I_j}{g}_i{)}^2}{{\sum }_{i\in I_j}{h}_i+\lambda }+\gamma T$$
（2）第$t$次迭代时，在决策树的结构确定后，每个叶子结点$j$的输出值$w_j$就是固定不变了，且$w_j=-\frac{{\sum }_{i\in I_j}{g}_i}{{\sum }_{i\in I_j}{h}_i+\lambda }$，这个$w_j$就是预测值，将所有决策树的对于某个样本$x_i$的输出值按公式1求和就是这个样本$x_i$的最终预测值。

2 最小化目标函数的方法

在第1节建模完成后，这个带正则化的损失函数（即目标函数）优化有哪些难点呢？

首先，想一想我们是怎么构造一颗决策树的呢，一种方法是根据特征枚举所有的的决策树，逐个计算目标函数值，选择使目标函数最小的决策树结构作为新增决策树，但这是个“NP完全”问题，这种求解方法不现实。

另一种方法采用贪心算法，就是通过一步步贪心地分裂节点获得完整决策树，但是这个最佳分裂点是怎么选定的呢？过程是这样的：
（1）从深度为0的树开始，对每个叶节点枚举所有的可用特征；
（2）针对每个特征，把属于该节点的训练样本根据该特征值升序排列，通过线性扫描的方式来决定该特征的最佳分裂点，用公式10计算每个分裂点的损失减少量$L_{split}$，并记录该特征的损失减少量的最大值（采用最佳分裂点时的损失减少量）；
（3）选择损失减少量最大的特征作为分裂特征，用该特征的最佳分裂点作为分裂位置，把该节点生长出左右两个新的叶节点，并为每个新节点关联对应的样本集；
（4）回到第1步，递归执行到满足特定条件为止（达到树的结点数限制，或者迭代刺次数限制，或者迭代loss不再下降）。

上述过程的算法伪代码描述如下图所示：

2.1 小结

XGBoost算法可以总结为：

(1) 算法在迭代的每一步都生成一颗新的决策树；

(2) 在构造每一颗决策树时，需要在每一次节点分裂时计算损失函数在每个样本上的一阶导和二阶导，即 $g_i$和$h_i$，并找出最佳分裂点；

(3) 通过上面的贪心策略生成一颗树，计算每个叶子结点的的$G_j$和$H_j$，利用等式8计算预测值 $w_j$；

(4) 把新生成的决策树$f_t(x_i)$加入 ${\hat{y}}_i^t={\hat{y}}_i^{t-1}+ϵf_t(x_i)$ ，其中$ϵ$为学习率，主要为了抑制模型的过拟合。

3 参考资料

[1].陈天奇大神的论文：XGBoost: A Scalable Tree Boosting System。
[2].https://blog.csdn.net/notHeadache/article/details/83146982
[3].https://zhuanlan.zhihu.com/p/29765582