XGBoost原理及目标函数推导详解

前言

     XGBoost（eXtreme Gradient Boosting）全名叫极端梯度提升，XGBoost是集成学习方法的王牌，在Kaggle及工业界都有广泛的应用并取得了较好的成绩，本文较详细的介绍了XGBoost的算法原理及目标函数公式推导。

一、XGBoost原理

     XGBoost是boosting算法的一种，是以决策树为基础的一种梯度提升算法。通过多轮迭代,每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差基础上进行训练。对弱分类器的要求一般是足够简单，并且是低方差和高偏差的。因为训练的过程是通过降低偏差来不断提高最终分类器的精度。 弱分类器一般会选择为CART TREE（也就是分类回归树，同时XGBoost还支持线性分类器）。由于上述高偏差和简单的要求 每个分类回归树的深度不会很深。最终的总分类器 是将每轮训练得到的弱分类器加权求和得到的（也就是加法模型）。因此，模型目标函数为：

                                                       

二、XGBoost目标函数推导

2.1 CART树介绍

                                                       

上图为第K棵CART树，确定一棵CART树需要确定两部分，第一部分就是树的结构，这个结构将输入样本映射到一个确定的叶子节点上，记为： 。第二部分就是各个叶子节点的值，q(x)表示输出的叶子节点序号，表示对应叶子节点序号的值。由定义得：

                                                                    

2.2 树的复杂度

     对于（2）式即树的复杂度，其中T为叶子节点的个数，||w||为叶子节点向量的模 。γ表示节点切分的难度，λ表示L2正则化系数。

                                     

2.3 目标函数推导

共进行t次迭代的学习模型的目标函数为：

                                    

由前向分布算法可知，前t-1棵树的结构为常数，即：

                                    

将（5）式代入（4）式可得：

                                      

泰勒公式二阶导可近似表示为：

                                     

将目标函数用泰勒公式二阶导展开为：

                           

其中：

                                               

如果损失函数定义为平方损失函数的话，即

                                                    

则：

                                                   

这也是为什么只用到二阶泰勒展开，因为三阶导已经为0。

将（2）式代入（9）式可得：

                              

进一步对XGBoost来说，每一个数据点最终都会落在一个叶子节点上，而对落在同一个叶子节点上的数据来说其输出都是一样的，假设共有T个叶子节点，每个叶子节点输出为(也是要求的最优权重),则目标函数可以进一步改写为：

                                   

（18）式为的一元二次函数，用目标函数对求导可得最优的为：

                                           

式（20）也称为打分函数(scoring function)，它是衡量树结构好坏的标准，值越小，代表这样的结构越好 。我们用打分函数选择最佳切分点，从而构建CART树。

2.4 CART回归树的构建方法

     上节推导得到的打分函数是衡量树结构好坏的标准，因此，可用打分函数来选择最佳切分点。首先确定样本特征的所有切分点，对每一个确定的切分点进行切分，切分好坏的标准如下：

                                

     Gain表示单节点obj*与切分后的两个节点的树obj*之差，遍历所有特征的切分点，找到最大Gain的切分点即是最佳分裂点，根据这种方法继续切分节点，得到CART树。若 γ 值设置的过大，则Gain为负，表示不切分该节点，因为切分后的树结构变差了。γ值越大，表示对切分后obj下降幅度要求越严，这个值可以在XGBoost中设定。

三、XGBoost与GDBT的区别

     取自知乎高票答案（https://www.zhihu.com/question/41354392/answer/98658997）

• 传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。
• 传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下，xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导。
• xgboost在代价函数里加入了正则项，用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。从Bias-variance tradeoff角度来讲，正则项降低了模型的variance，使学习出来的模型更加简单，防止过拟合，这也是xgboost优于传统GBDT的一个特性。
• Shrinkage（缩减），相当于学习速率（xgboost中的eta）。xgboost在进行完一次迭代后，会将叶子节点的权重乘上该系数，主要是为了削弱每棵树的影响，让后面有更大的学习空间。实际应用中，一般把eta设置得小一点，然后迭代次数设置得大一点。（补充：传统GBDT的实现也有学习速率）
• 列抽样（column subsampling）。xgboost借鉴了随机森林的做法，支持列抽样，不仅能降低过拟合，还能减少计算，这也是xgboost异于传统gbdt的一个特性。
• 对缺失值的处理。对于特征的值有缺失的样本，xgboost可以自动学习出它的分裂方向。
• xgboost工具支持并行。boosting不是一种串行的结构吗?怎么并行的？注意xgboost的并行不是tree粒度的并行，xgboost也是一次迭代完才能进行下一次迭代的（第t次迭代的代价函数里包含了前面t-1次迭代的预测值）。xgboost的并行是在特征粒度上的。我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），xgboost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。这个block结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。
• 可并行的近似直方图算法。树节点在进行分裂时，我们需要计算每个特征的每个分割点对应的增益，即用贪心法枚举所有可能的分割点。当数据无法一次载入内存或者在分布式情况下，贪心算法效率就会变得很低，所以xgboost还提出了一种可并行的近似直方图算法，用于高效地生成候选的分割点。