XGBoost目标函数构建个人理解

  XGBoost全称 “Extreme Gradient Boosting“，被称为极端梯度提升法。它利用一连串的决策树，通过学习前一个决策树残差的方式，来不断逼近最终的预测结果，这里着重讲目标函数是如何构建的以及如何生成一棵新的树。

假设我们已经训练了$K$棵树，那么其对于第$i$个样本的预测结果为：
$${\hat{y}}_i=\sum _{k=1}^K{f}_k(x_i)$$

• 如果是回归问题，那么其最终的预测值就是$\hat{y}$
• 如果是分类问题，那么最终的结果$\hat{y}$就是其预测值为对应分类的概率（$0<\hat{y}<1$）

假设我们一共有$n$条样本数据，我们可以构建一个统一的目标函数：
$$Obj=\sum _{i=1}^{n}l(y_i,{\hat{y}}_i)+\sum _{k=1}^K\Omega (f_k)$$

• 其中$y_i$是第$i$个样本的真实值，如果是分类问题那就是1
• $l(y_i,{\hat{y}}_i)$是损失函数，对于回归问题我们可以使用MSE，对于分类问题可以使用Cross entropy
• $\Omega (f_k)$是对于每棵树的具体约束，防止单棵树过拟合，下面会具体讲

同样对于样本$i$我们可以得到：
y i ( 0 ) = 0 ( d e f a u l t v a l u e ) y i ( 1 ) = f 1 ( x i ) = y i ( 0 ) + f 1 ( x i ) y i ( 2 ) = f 1 ( x i ) + f 2 ( x i ) = y i ( 1 ) + f 2 ( x i ) . . . y i ( k ) = f 1 ( x i ) + f 2 ( x i ) + . . . + f k − 1 ( x i ) + f k ( x i ) = y i ( k − 1 ) + f k ( x i ) \begin{aligned}y_i^{(0)}&=0\quad(default\quad value)\\y_i^{(1)}=f_1(x_i)&=y_i^{(0)}+f_1(x_i)\\y_i^{(2)}=f_1(x_i)+f_2(x_i)&=y_i^{(1)}+f_2(x_i)\\&.\\&.\\&.\\y_i^{(k)}=f_1(x_i)+f_2(x_i)+...+f_{k-1}(x_i)+f_k(x_i)&=y_{i}^{(k-1)}+f_k(x_i)\end{aligned} yi(0)​yi(1)​=f1​(xi​)yi(2)​=f1​(xi​)+f2​(xi​)yi(k)​=f1​(xi​)+f2​(xi​)+...+fk−1​(xi​)+fk​(xi​)​=0(defaultvalue)=yi(0)​+f1​(xi​)=yi(1)​+f2​(xi​)...=yi(k−1)​+fk​(xi​)​
因此，我们可以得到：
$$\begin{array}{rl}Obj& =\sum _{i=1}^{n}l(y_i,{\hat{y}}_i)+\sum _{k=1}^K\Omega (f_k)\\ & =\sum _{i=1}^n(y_i,{\hat{y}}_i^{(k-1)}+f_K(x_i))+\sum _{k=1}^{K-1}\Omega (f_k)+\Omega (f_K)\end{array}$$
这里我们可以假设前$K-1$棵树都已经构建完成，正要构建第$K$棵树，因此$\sum _{k=1}^{K-1}\Omega (f_k)$可以看为常数，因为目标函数是优化问题，往往跟常数项无关，因此我们可以不考虑，可以得到：
$$Obj=\sum _{i=1}^n(y_i,{\hat{y}}_i^{(k-1)}+f_K(x_i))+\Omega (f_K)$$

在这里我们直接对目标函数进行优化比较困难，因此可以选择用泰勒展开去逼近的方法，泰勒公式如下：
$$f(x+\Delta x)=f(x)+f^{{}^{\prime }}(x)\Delta x+\frac{1}{2}{f}^{{}^{\prime \prime }}(x)\Delta x^2+...+\frac{f^{(n)}(x)}{n!}\Delta x^n+R_n(x)$$
其实泰勒展开到二阶项的时候对应的值已经非常逼近原来的值，即：
$$f(x+\Delta x)\approx f(x)+f^{{}^{\prime }}(x)\Delta x+\frac{1}{2}{f}^{{}^{\prime \prime }}(x)\Delta x^2$$
在这里我们可以将${\hat{y}}_i^{(k-1)}$看做是$x$，$f_K(x)$看做是$\Delta x$，那么$f(x)=l(y_i,{\hat{y}}_i^{(k-1)})$，$f(x+\Delta x)=l(y_i,{\hat{y}}_i^{(k-1)})+f_K(x_i)$，因此：
$$Obj\approx \sum _{i=1}^n[l(y_i,{\hat{y}}_i^{(k-1)})+l^{{}^{\prime }}(y_i,{\hat{y}}_i^{(k-1)})f_K(x_i)+l^{{}^{\prime \prime }}(y_i,{\hat{y}}_i^{(k-1)})f_K(x_i{)}^2]+\Omega (f_K)$$
同样对于优化问题，在前$K-1$棵决策树已经构建完成的情况下，$l(y_i,{\hat{y}}_i^{(k-1)})$可以看做是常数，对整体求解没有影响，因此我们可以将其忽略，同时我们设$g_i=l^{{}^{\prime }}(y_i,{\hat{y}}_i^{(k-1)})$，$h_i=l^{{}^{\prime \prime }}(y_i,{\hat{y}}_i^{(k-1)})$，我们可以得到：
$$Obj\approx \sum _{i=1}^n[g_i{f}_K(x_i)+\frac{1}{2}{h}_i{f}_K^2(x_i)]+\Omega (f_K)$$

我们设$q(x_i)=j$为第$i$个样本在当前决策树的第$j$个叶子节点上，$W(q(x_i))=W_j$为第$i$个样本在当前决策树上的值为$W_j$，同时对于同一棵决策树而言，落在同一个叶子节点上的值为一个集合，我们设落在某一个叶子节点$j$上的样本点的集合为$I_j$，同时我们设当前决策树一共有$T$个叶子结点。

对于决策树问题，我们对其进行的限制无非是有以下三种：

• 树的深度
• 叶子节点的个数
• 叶子节点的值

同样对于二叉树而言叶子节点的个数又可以反映出树的深度，因此我们可以对每一颗决策树进行如下约束：
$$\Omega (f_k)=\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{W}_j^2$$

• 其中$\gamma 、\lambda$都是超参数，用于约束惩罚力度

因此可以得到：
$$\begin{array}{rl}Obj& =\sum _{i=1}^n[g_{i}W(q(x_i))+\frac{1}{2}{h}_{i}W(q(x_i){)}^2]+\gamma T+\frac{1}{2}\lambda \sum _{j=1}^T{W}_j^2\\ & =\sum _{j=1}^T[\sum _{i\in I_j}(g_i)W_j+\frac{1}{2}\sum _{i\in I_j}(h_i+\lambda )W_j^2]+\gamma T\end{array}$$
我们的目的是使得该目标函数最小，我们设$G_j=\sum _{i\in I_j}(g_i)$，$H_j=\sum _{i\in I_j}(h_i)$

对于$G_j{W}_j+\frac{1}{2}{H}_j{W}_j^2$，由于$G_j$和$H_j$都可以看作是常数，因此就可以将其看做一个未知数为$W_j$的二次函数，可以得到，当$W_j^{\ast }=-\frac{G_j}{H_j+\lambda }$时，$Obj$取得最小值$Ob{j}^{\ast }=-\frac{1}{2}\sum _{j=1}^T\frac{G_j^2}{H_j+\lambda }+\gamma T$

这里有个大假设是我们已经知道树的形状（叶子结点的个数$T$是个定值）

• 因此我们可以利用$Obj$去构建决策树，而非简单利用信息熵或者基尼系数，即每分裂一个节点列举所有可能的分裂方式，选择使得$Obj$最小的方式去分裂