GBDT-梯度提升决策树

梯度提升决策树（Gradient Boosting Decision Tree, GBDT）是一种基于boosting集成学习思想的加法模型，训练时采用前向分布算法进行贪婪学习，每次迭代都学习一棵CART树来拟合之前$t-1$棵树的训练样本真实值的残差。

CART(Classification and Regression tree)

最小二乘回归算法
输入：训练数据集$D$。
输出：回归树$f(x)$。
在训练数据集所在的输入空间中，递归地将每个区域划分为两个子区域并决定每个子区域的输出值，构建二叉决策树：

1. 选择最优切分变量$j$与切分点$s$，求解：
   $$\underset{i,s}{\min }[\underset{C_1}{\min }\sum _{x_i\in R_1(j,s)}(y_i-c_1{)}^2+\underset{C_2}{\min }\sum _{x_i\in R_2(j,s)}(y_i-c_2{)}^2]$$
   遍历变量$j$，对固定的切分变量$j$扫描切分点$s$，选择使上式达到最小值的对$(j,s)$。
2. 用选择的对$(j,s)$划分区域并决定相应的输出值：
   $$R_1(j,s)=\{x|x^{(j)}\le s\}$$
   $$R_1(j,s)=\{x|x^{(j)}>s\}$$
   $${\hat{C}}_m=\frac{1}{N_m}\sum _{x_i\in R_1(j,s)}{y}_i,x\in R_m,m=1,2$$
3. 继续对两个子区域调用步骤1和2，直至停止条件
4. 将输入空间划分为$M$个区域$R_1,R_2,...,R_M$，生成决策树：
   $$f(x)=\sum _{m=1}^M{\hat{C}}_{m}I(x\in R_m)$$

GBDT(Gradient Boosting Decision Tree)

假设GBDT里有k个CART。其中第k个CART记为$T_k(X)$，前k个CART的预测值记为
$$f_k(x)=\sum _{i=1}^k{T}_i(x)$$
GBDT是一种加法模型，它把所有基础模型的预测值累加起来作为最终的预测值，可把前K个CART的预测值表示为一个递归的形式：
$$f_k(x)=f_{k-1}(x)+T_k(x)$$
训练第k个CART时，最小化目标函数：
$$J=\sum _{n=1}^{N}L(y_n,f_k(x_n))=\sum _{n=1}^{N}L(y_n,f_{k-1}(x)+T_k(x))$$
利用梯度下降法：
$$f_k(x_n)=f_{k-1}(x_n)-\alpha \frac{\partial J}{\partial f_{k-1}(x_n)}$$
$$T_k(x_n)=-\alpha \frac{\partial J}{\partial f_{k-1}(x_n)}$$
通常回归任务中用残差平方和作为目标函数
$$J=\sum _{n=1}^{N}L(y_n,f_k(x_n))=\sum _{n-1}^N\frac{1}{2}{(y_n-f_k(x_n))}^2$$
因此有
$$T_k(x_n)=-\alpha \frac{\partial J}{\partial f_{k-1}(x_n)}=y_n-f_{k-1}(x_n)$$
也就是说，GBDT的每一颗CART树的任务，是拟合之前所有CART留下的残差。