DataWhale机器学习高级算法梳理Day3-XGBoosting

算法原理

参考文章：
Gradient Boosting梯度提升-GBDT与XGBoost解析及应用
理解XGBoost
集成算法梳理——XGBoost

回顾前面的梯度提升算法，知道梯度提升使用前序模型的预测值$f_{m-1}(x_i)$和标签值$y_i$之间的残差$\widehat{D_m}=\{(x_i,r_{im})i=1,2\dots n\}$，对弱学习器$h_m$进行不断强化和训练，从而得到更强的学习器$f_m=f_{m-1}+h_m$，本质是利用负梯度拟合思想，使$loss$损失函数沿着$f_{m-1}$的负梯度方向前进来最小化损失函数，这里的梯度，就是$loss$损失函数关于自变量$f_{m-1}$的一阶导数。

而xgboosting，就是利用$loss$关于$f_{m-1}$的二阶导数信息来指导弱学习器$h_m$的训练，提升训练速度。

损失函数

首先看损失函数，用泰勒二项公式展开得到：
$$\begin{gathered} \begin{array}{rl}& \sum _{i=1}^{n}l(y_i,f_{m-1}(x_i)+h_m)\\ & \approx \sum _{i=1}^n[l(y_i,f_{m-1}(x_i))+g_i\cdot h_m(x_i)+\frac{1}{2}{h}_i\cdot h_m(x_i{)}^2]\end{array} \\ {g}_i=\frac{\partial l(y_i,f_{m-1}(x_i))}{\partial f_{m-1}(x_i)}{h}_i=\frac{\partial l^2(y_i,f_{m-1}(x_i))}{\partial f_{m-1}(x_i{)}^2} \end{gathered}$$
对于$i=1,2\dots n$，由牛顿法（即点$x$在其导数为零处取得极值）可以得到：
$$\begin{gathered} \frac{\partial l(y_i,f_{m-1}(x_i)+h_m(x_i))}{\partial h_m(x_i)}\approx g_i+h_i\cdot h_m(x_i) \\ {g}_i+h_i\cdot h_m(x_i)=0 \\ {h}_m(x_i)=-\frac{g_i}{h_i} \end{gathered}$$
这样，令$\frac{\partial loss}{\partial h_m(x_i)}=0$，得到$h_m(x_i)$（即上式），就可以让损失函数在其二阶近似上取得最小值。但xgboosting不只是这样，它还引入了正则项对弱学习器$h_m(x)$进行过拟合的惩罚。
$$\Omega (h_m)=\gamma T+\frac{1}{2}\lambda \Vert \omega {\Vert }^2$$

分裂结点算法

主要有两种算法;

• Exact Greedy Algorithm
  对于每一维特征, 该算法针对此特征对样本集进行排序, 然后遍历每个样本在该特征上的取值并进行分裂, 计算出$\Delta loss$以确定最佳分裂特征和分裂点。
  
• Approximate Algorithm
  当样本量太大，特征维数过多时，贪心算法就有很大的局限性，这时Approximate Algorithm从特征 k 中较为均匀地采样分裂点。有数据集$D_k=\{(x_{ik},h_i)\},i=1,2\dots n$，其中$x_{\{x_{ik}\}}$为样本$x_i$的第$k$个特征值，$h_i$为样本$x_i$对应的二阶导数值。
  
  寻找最佳分裂的算法流程为

输入数据$I$：，当前节点的训练样本集，训练样本数为$n$

输入数据$d$：，特征向量维数

初始化分裂质量：$score\leftarrow 0$

计算所有样本的一阶导数，二阶导数之和：$G\leftarrow \sum i\in I_{gi},H\leftarrow \sum i\in I_{hi}$

循环，对$k=1,...,d$

对所有训练样本按照第$k$个特征升序排序

初始化左子集所有训练样本的一阶导数，二阶导数之和：$G_l\leftarrow 0,H_l=0$

循环，对$j=1,...,n$，以第$j$个样本的第$k$个特征分量$x_{jk}$作为分裂阈值

计算左子集所有样本的一阶导数和二阶导数之和，在之前的基础上加上本次

被从右

边分到左边的样本的一阶导数和二阶导数值即可：$G_L\leftarrow G_l+gi,H_l\leftarrow H_l+h_j$

计算右子集所有样本的一阶导数和二阶导数之和，可以根据总和，左子集的和快速

计算：$G_R\leftarrow G-G_l,H_R\leftarrow H-H_l$

计算分裂分数的最大值：
$score\leftarrow max⟮score,\frac{G_l^2}{H_l+\lambda }+\frac{G_R^2}{H_R+\lambda }+\frac{G^2}{H+\lambda }⟯$
结束循环

正则化

正则项为;
$$\Omega (h_m)=\gamma T+\frac{1}{2}\lambda \Vert w{\Vert }^2$$
其中，$\gamma$和$\lambda$是人为设定的系数，$w$为弱学习器（这里是决策树）所有叶子节点构成的向量，$T$为叶子节点的总数，正则项由叶子节点数，叶子节点值向量的模平方两项构成，第一项体现了决策树结构的复杂程度，第二项体现了决策树预测值的复杂程度。

XGBoost实现时还使用了权重收缩与列采样技术，以抵抗过拟合。权重收缩的做法是在每训练出一棵决策树之后将其权重进行缩放，乘上系数$\eta$。权重收缩降低了之前的决策树的影响，为将来要生成的决策树留下了更多的空间。列采样的做法与随机森林相同，每次寻找最佳分裂时只考虑一部分随机抽取的特征分量。

对缺失值处理

xgboost处理缺失值的方法和其他树模型不同。xgboost把缺失值当做稀疏矩阵来对待，本身在节点分裂时不考虑缺失值的数值，但确定分裂的特征后，缺失值数据处理策略是落在哪个子结点得分高，就放到哪里。如果训练中没有数据缺失，预测时出现了数据缺失，那么默认被分类到右子树。

优缺点

见参考文章3

应用场景

分类问题，回归问题都可以

sklearn参数

参数	类型	默认值	作用
loss	devience exponential	devience	损失函数
learning_rate	float	0.1	学习率，每个学习器的权重
n_estimators	int	100	输的个数
criterion	str	friendman_mse	分裂算法
max_depth	int or None	None	树的最大深度
n_iter_no_change	int or None	None	早停轮数
tol	float	1e-4	早停阀值
validation_fraction	float	0.1	早停验证比例
min_samples_split	int or float	2	分裂时最小样本数
min_samples_leaf	int or float	1	叶节点最小样本数
min_weight_fraction_leaf	float	0	叶节点最小样本权重总值
max_features	int float atr None	‘auto’	最大特征数
max_leaf_nodes	int or None	None	最大叶节点数
min_impurity_decrease	float	0.	切分点不纯度最小减少程度，若节点不纯度小于该值，则被剔除
random_state	int or None	None	随机种子