XGBOOST与GBDT区别

Boosing算法是一种加法模型，它包含一种残差逼近的思想。
$$F(x)=\sum _{t=0}^T{f}_t(x)$$

GBDT是一种较为经典的梯度提升树算法，包括Xgboost(Xgboost是GBDT的一个变种)。

GBDT 在函数空间中利用梯度下降法进行优化。
Xgboost在函数空间中利用牛顿法进行优化。且相比GBDT，Xgboost加入了正则项，使模型更加不容易过拟合。

简单的说，GBDT与Xgboost都是在泰勒展开式的基础上进行的。不同的是，GBDT的损失函数是一阶导数，而Xgboost是引入了海森矩阵的二阶导数，且加入了正则项。

这里首先介绍下两种优化方法。

优化方法

梯度下降法(Gradient descend method)

在机器学习任务中， 需要最小化损失函数$L(\theta )$,其中$\theta$是要求解的模型参数。

梯度下降法常用来求解这种无约束最优化问题， 它是一种迭代方法：选取初值${\theta }^0$,不断迭代,更新$\theta$的值,进行损失函数的极小化。

梯度下降法利用的一阶泰勒展开。

1. 迭代公式： ${\theta }^t={\theta }^{t-1}+\Delta \theta$
2. 将$L({\theta }^t)$ 在${\theta }^{t-1}$处进行一阶泰勒展开
   $$L({\theta }^t)=L({\theta }^{t-1}+\Delta \theta )\approx L({\theta }^{t-1})+L^{{}^{\prime }}({\theta }^{t-1})\Delta \theta$$
3. 要使得$L({\theta }^t)<L({\theta }^{t-1})$,可取：$\Delta \theta =-\alpha L^{{}^{\prime }}({\theta }^{t-1})$,则${\theta }^t={\theta }^{t-1}-\alpha L^{{}^{\prime }}({\theta }^{t-1})$
   这里$\alpha$是步长，可以通过line search确定，但一般直接赋予一个小的数。

牛顿法(Newton’s method)

将$L({\theta }^t)$ 在${\theta }^{t-1}$处进行二阶泰勒展开
$$L({\theta }^t)\approx L({\theta }^{t-1})+L^{{}^{\prime }}({\theta }^{t-1})\Delta \theta +L^{{}^{\prime \prime }}({\theta }^{t-1})\Delta {\theta }^2/2$$

为了简化分析过程，假设参数是标量（即$\theta$只有一维）,则可将一阶和二阶导数分别记为$g$和$h$:
$$L({\theta }^t)\approx L({\theta }^{t-1})+g\Delta \theta +h\frac{\Delta {\theta }^2}{2}$$
要使得$L({\theta }^t)$极小，即让$g\Delta \theta +h\frac{\Delta {\theta }^2}{2}$极小，

可令$\frac{\partial (g\Delta \theta +h\frac{\Delta {\theta }^2}{2})}{\partial \Delta \theta }=0$

求得 $\Delta \theta =-\frac{g}{h}$,故${\theta }^t={\theta }^{t-1}+\Delta \theta ={\theta }^{t-1}-\frac{g}{h}$

推广到向量形式的迭代公式：${\theta }^t={\theta }^{t-1}-H^{-1}g$
这里的$H$是海森矩阵。

GBDT算法原理

• GBDT模型定位为算法模型：
  $$F(x;w)=\sum _{t=0}^T{\alpha }_t{h}_t(x;w)=\sum _{t=0}^T{f}_t(x;w_t)$$
  其中，$x$为输入样本，$h$为分类回归树，$w$分类回归树的参数，$\alpha$是每棵树的权重。
• 通过最小化损失函数求解最优模型：
  $$F^{\ast }=\underset{F}{\mathrm{argmax}}\sum _{t=0}^{N}L(y_i,F(x_i;w))$$

XGBoost算法原理

给定数据集$D=\{(x_i,y_i)\}$,XGBoost进行additive training，学习K棵树，采用以下函数对样本进行预测：
$$y_i=\Phi (x_i)=\sum _{k=1}^K{f}_k(x_i),f_k\in F$$
这里$F$是假设空间，$f(x)$是回归树(CART):
$$F=\{f(x)=w_{q(x)}\}(q:{\mathbb{R}}^m\to T,w\in {\mathbb{R}}^T)$$
$q(x)$表示样本分到了某个叶子节点上，w是叶子节点的分数(leaf score),所以$w_{q(x)}$表示回归树对样本的预测值

目标函数

• 参数空间中的目标函数：
  $$Obj(\Theta )=L(\Theta )+\Omega (\Theta )$$
  误差函数$L(\Theta )$可以是均方误差损失，对数损失等等，正则项$\Omega (\Theta )$可以是L1正则，L2正则等。

Ridge Regression：${\sum }_{i=1}^n(y_i-{\theta }^T{x}_i{)}^2+\lambda ||\theta |{|}^2$

Lasso:${\sum }_{i=1}^n(y_i-{\theta }^T{x}_i{)}^2+\lambda ||\theta |{|}_1$

正则项

• XGboost的目标函数（函数空间）：
  $$Obj(\Theta )=\sum _{i}l(y_i,y_i)+\sum _k\Omega (f_k)$$

• 相比原始的GBDT， XGBoost的目标函数多了正则项， 使得学习出来的模型更加不容易过拟合。

• 有哪些指标可以衡量树的复杂度？
  树的深度， 内部节点个数， 叶子节点个数($T$)， 叶节点分数($w$)…
  XGBoost采用的：
  $$\Omega (f)=\gamma T+\frac{1}{2}\lambda ||\omega |{|}^2$$

对叶子节点个数进行惩罚，相当于在训练过程中做了剪枝。

误差函数的二阶泰勒展开

• 第t次迭代后， 模型的预测等于前t-1次的模型预测加上第t棵树的预
  测：
  $$y_i^{(t)}=y_i^{(t-1)}+f_t(x_i)$$

• 此时目标函数可写作：
  $$L(t)=\sum _{i=1}^{n}l(y_i,y_i^{(t-1)}+f_t(x_i)+\Omega (f_t)$$
  公式中 $y_i,y_i^{(t-1)}$都已知， 模型要学习的只有第t棵树 $f_t$

• 将误差函数在$y_i^{t-1}$处进行二阶泰勒展开：
  $$L(t)\approx \sum _{i=1}^n[l(y_i,y_i^{(t-1)}+g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\Omega (f_t)$$
  公式中，$g_i={\partial }_{y(t-1)}l(y_i,y^{(t-1)})$,$h_i={\partial }_{y(t-1)}^{2}l(y_i,y^{(t-1)})$

• 将公式中的常数项去掉， 得到:
  $$L(t)\approx \sum _{i=1}^n[g_i{f}_t(x_i)+\frac{1}{2}{h}_i{f}_t^2(x_i)]+\Omega (f_t)$$

• 把$f_t,\Omega (f_t)$ 写成树结构的形式， 即把下式代入目标函数中
  $f(x)=w_q(x)$ ,$\Omega (f)=\gamma T+\frac{1}{2}\lambda ||\omega |{|}^2$

• 得到：
  $$L(t)\approx \sum _{i=1}^n[g_i{w}_q(x_i)+\frac{1}{2}{h}_i{w}_q^2(x_i)]+\gamma T+\frac{1}{2}\lambda ||\omega |{|}^2$$
  其中${\sum }_{i=1}^n[g_i{w}_q(x_i)+\frac{1}{2}{h}_i{w}_q^2(x_i)]$是对样本累加，$\frac{1}{2}\lambda ||\omega |{|}^2$是对叶子节点的累加。

• 怎么统一起来？
  定义每个叶节点j上的样本集合为: $I_j=\{i|q(x_i)=j\}$
  则目标函数可以写成按叶节点累加的形式：
  $$L(t)=\sum _{j=1}^T[(\sum g_i)w_j+\frac{1}{2}(\sum h_i+\lambda )w_j^2]+\gamma T$$
  $$=\sum _{j=1}^T[G_j{w}_j+\frac{1}{2}(\sum H_j+\lambda )w_j^2]+\gamma T$$

• 如果确定了树的结构（ 即$q(x)$确定），为了使目标函数最小， 可以令其导数为0， 解得每个叶节点的最优预测分数为：
  $$w_j^{\ast }=-\frac{G_j}{H_j+\lambda }$$
  代入目标函数， 得到最小损失为：
  $$L^{\ast }=-\frac{1}{2}\sum _{j=1}^T\frac{G_j^2}{H_j+\lambda }+\gamma T$$