梯度提升树GBDT的理论学习与细节补充

1. 写在前面

今天是梯度提升树GBDT的理论学习和细节补充， 之前整理过XGBOOST和Lightgbm， 在那里面提到了GBDT， 但是只是简单的一过， 并没有关注太多GBDT的细节， 所以这次借着整理推荐系统里面的GBDT+LR模型的机会， 重新过了一遍GBDT和LR的基础知识， 确实发现忽略了很多知识， 而GBDT和逻辑回归模型都是作为面试考核的大点， 所以有必要细一些了。

关于逻辑回归的细节， 在这篇文章中进行了补充， 今天的重点是GBDT， GBDT全称梯度提升决策树，在传统机器学习算法里面是对真实分布拟合的最好的几种算法之一，在前几年深度学习还没有大行其道之前，gbdt在各种竞赛是大放异彩。原因大概有几个，一是效果确实挺不错。二是即可以用于分类也可以用于回归。三是可以筛选特征。这三点实在是太吸引人了，导致在面试的时候大家也非常喜欢问这个算法， 下面就从算法的原理与公式推导， 算法如何选择特征， 如何进行回归和分类等几方面进行一个整理。

PS： 这个算法非常重要， 现在机器学习算法最常用的XGBOOST， Lightgbm， catboost这几大巨头算法都是基于这个算法的基础上进行发展起来的， 面试里面一般会问到的关于这个算法的问题， 大致有下面几个， 由于我也刚开始接触细节部分， 先整理其中的几个， 后面再慢慢加：

1. gbdt算法的流程？
2. gbdt如何选择特征？
3. gbdt如何构建特征？
4. gbdt如何用于分类
5. gbdt 通过什么方式减少误差 ？
6. gbdt的效果相比于传统的LR，SVM效果为什么好一些 ？
7. gbdt 如何加速训练？
8. gbdt的参数有哪些，如何调参 ？
9. gbdt 实战当中遇到的一些问题 ？
10. gbdt的优缺点 ？

大纲如下：

• GBDT？ 我们先从提升树(BDT)开始吧
• 梯度提升之GBDT的原理（上面问题的1， 2）
• GBDT如何构建特征（3）
• GBDT如何进行分类（4）
• 为何GBDT受人青睐（6， 10）

Ok let’s go!

2. GBDT? 先从提升树开始

在介绍GBDT之前， 先简单的介绍一下BDT, 也就是Boosting Decision Tree， 这是以CART决策树为基学习器的集成学习方法， 关于集成学习， 这里就不过多赘述了， 可以参考白话机器学习算法理论+实战之AdaBoost算法。 提升树模型可以表示为决策树的加法模型：

$$f_M(x)=\sum _{m=1}^{M}T\left(x;{\Theta }_m\right)$$
其中， $T(x;{\Theta }_m)$表示决策树； ${\Theta }_m$为决策树的参数， $M$表示树的个数， 即M棵树的结果相加。

提升树采用的是前向分布算法， 首先确定初始提升树$f_0(x)=0$， 第$m$步的模型是：
$$f_m(x)=f_{m-1}(x)+T\left(x;{\Theta }_m\right)$$
通过经验风险极小化确定下一棵树的参数（让残差尽可能的小找到最优划分点）：
$${\hat{\Theta }}_m=\arg \underset{{\Theta }_m}{\min }\sum _{i=1}^{N}L\left(y_i,f_{m-1}\left(x_i\right)+T\left(x_i;{\Theta }_m\right)\right)$$

这里的$L()$ 是损失函数,回归算法选择的损失函数一般是均方差(最小二乘)或者绝对值误差;而在分类算法中一般的损失函数选择对数函数来表示。 这是李航老师《统计学习方法》里面的原内容， 也是对提升树比较好的总结。

如果对上面的公式一脸懵逼， 那么我们拿一个图来看一下BDT的一个学习流程， 然后再回顾一下上面的这些公式， 就会有一种豁然开朗的感觉(初极狭， 才通人， 复行数十步， 豁然开朗哈哈）

根据这个图先梳理一遍BDT的流程：

boosting方法之前已经提到过， 是由多个弱学习器进行组合得到的一个强学习器， 而每个弱学习器之间是相互关联的， AdaBoost是boosting家族的一员， 它与BDT不同， AdaBoost中弱学习器之间的关联关系是前一轮学习器表现不行的样本， 而GDT中弱学习器之间的关联是残差。

给我一些训练样本， 我们先训练第一个弱学习器， BDT里面的话就是决策树了， 关于决策树的问题这里依然不多说， 可以参考白话机器学习算法理论+实战之决策树, 训练完了第一个学习器， 就可以对样本进行一个预测， 此时会得到一个与真实标签的一个残差， 那么就可以用这个残差来训练后面的学习器， 也就是第二个分类器关注于与前面学习器与真实标签的差距， 这样依次类推， 最后会得到n个弱分类器。 那么我这n个分类器进行加和， 就得到了最终的学习器。最后就是用这个东西进行预测。 关于这个拟合残差的这部分， 在白话机器学习算法理论+实战番外篇之Xgboost做了比较详细的赘述， 这里就不再重复了， 因为这篇文章内容也很多， 不要再冗余了哈哈。

根据上面的这个简单过程， 我们再来理解一下《统计学习方法》里面的公式， 提升树实际上是加法模型和前向分布算法， 表示为：

在前向分布算法的第$m$步时， 给定当前的模型$f_{m-1}(x)$, 求解：

这样就可以得到第$m$棵决策树$T(x,{\Theta }_m)$。只不过不同问题的提升树， 损失函数不同。如果我们解决的一个回归问题， 我们用平方损失函数的话， 第$m$次迭代的损失函数为：
$$\mathrm{L}\left(\mathrm{y},f_{m-1}(x)+T\left(x,{\Theta }_m\right)\right)={\left(y-f_{m-1}(x)-T\left(x,{\Theta }_m\right)\right)}^2={\left(r-T\left(x,{\Theta }_m\right)\right)}^2$$
这里的$r$就是残差， 所以第$m$棵决策树$T(x,{\Theta }_m)$是对该残差的拟合。 但是要注意的是提升树算法中的基学习器是CART树的回归树。 关于CART树， 可以参考决策树那篇文章。

这就是BDT算法的一般流程， 简单总结就是初始化一棵树， 计算残差， 根据残差拟合一棵树， 然后更新。下面就是完整的提升树算法：

关于回归问题的提升树算法， 李航老师书上有个比较好的例子， 由于比较细致， 这里只摘一部分， 但是在摘之前， 需要先整理一下CART回归树的生成方式， 因为之前整理决策树全是分类任务， 而这次要整理的BDT或者是下面的GBDT都是用CART回归树作为的基分类器， 所以有必要了解一下CART回归树的生成过程， 这也对应着面试过程中的一个问题， 如何选择特征？ 这个细节其实就是CART回归树的生成过程， 因为CART回归树生成的过程就是一个特征选择的过程。（这里PS一下：gbdt的弱分类器默认选择的是CART TREE。其实也可以选择其他弱分类器的，选择的前提是低方差和高偏差。框架服从boosting 框架即可）

一棵回归树对应着特征空间的一个划分以及在划分单元上的输出值。 假设已将输入空间划分为M个单元$R_1,R_2,...,R_M$, 并且在每个单元$R_m$上有一个固定的输出值$c_m$, 于是回归树模型表示为：

$$f(x)=\sum _{m=1}^M{c}_{m}I\left(x\in R_m\right)$$

当输入空间的划分确定时， 可以用平方误差${\sum }_{x_i\in R_m}{\left(y_i-f\left(x_i\right)\right)}^2$来表示回归树训练数据的误差， 用平方误差最小的准则求解每个单元上的最优输出值。 单元$R_m$上的$c_m$的最优输出值${\hat{c}}_m$是$R_m$上的所有输入实例$x_i$对应的$y_i$的均值， 即
$${\hat{c}}_m=\mathrm{ave}\left(y_i\mid x_i\in R_m\right)$$
现在问题是如何对输入空间进行划分？ 这里才用的启发方法， 选择第$j$个变量（特征）$x^{(j)}$和它的取值$s$, 作为切分变量和切分点， 并定义两个区域：

$$R_1(j,s)=\left\{x\mid x^{(j)}⩽s\right\}\text{ 和 }{R}_2(j,s)=\left\{x\mid x^{(j)}>s\right\}$$

然后寻找最优切分点$j$和最优切分点$s$。 这个是关键， 如何寻找？

具体的求解
$$\underset{j,s}{\min }\left[\underset{c_1}{\min }\sum _{x_i\in R_1(j,s)}{\left(y_i-c_1\right)}^2+\underset{c_2}{\min }\sum _{x_i\in R_2(j,s)}{\left(y_i-c_2\right)}^2\right]$$
对固定输入变量$j$可以找到最优切分点$s$。
$${\hat{c}}_1=\mathrm{ave}\left(y_i\mid x_i\in R_1(j,s)\right)\text{ 和 }{\hat{c}}_2=\mathrm{ave}\left(y_i\mid x_i\in R_2(j,s)\right)$$
遍历所有输入变量， 找到最优切分变量$j$， 构成一个对$(j,s)$。 依此将输入空间划分为两个区域。 重复上面的过程， 直到满足条件， 这样就生成了一棵回归树。

如果感觉上面的内容比较头大， 那么可以看下面的这个例子， 这个例子既说明了一下回归树是如何生成的， 又解释了回归问题提升树的原理， 这是李航老师书上的一个例子：

假设这里有10个训练样本的某个特征取值范围区间[0.5, 10.5], $y$的取值范围[5.0, 10.0]， 我们学习一个提升树模型。

首先通过下面的优化问题：
$$\underset{j,s}{\min }\left[\underset{c_1}{\min }\sum _{x_i\in R_1(j,s)}{\left(y_i-c_1\right)}^2+\underset{c_2}{\min }\sum _{x_i\in R_2(j,s)}{\left(y_i-c_2\right)}^2\right]$$
求训练数据的切分点$s$. 根据所给数据， 我们考虑如下切分点：
$$1.5,2.5,3.5,4.5,5.5,6.5,7.5,8.5,9.5$$
对于每个切分点， 很容易求出$R_1,R_2,c_1,c_2$及
$$m(s)=\underset{c_1}{\min }\sum _{x_i\in R_1}{\left(y_i-c_1\right)}^2+\underset{c_2}{\min }\sum _{x_i\in R_2}{\left(y_i-c_2\right)}^2$$
比如， 当$s=1.5$, $R_1=1,R_2=2,3,...10$， 对应$y$的平均$c_1=5.56,c_2=7.5$, 这时候根据上面这个公式得到

$$m(s)=\underset{c_1}{\min }\sum _{x_i\in R_1}{\left(y_i-c_1\right)}^2+\underset{c_2}{\min }\sum _{x_i\in R_2}{\left(y_i-c_2\right)}^2=0+15.72=15.72$$
然后， 在当$s=2.5$的时候， 再求一个m, 得到如下表：

可以发现$s=6.5$的时候$m(s)$最小， 此时$R_1=\{1,2,...6\}$, $R_2=\{7,8,9,10\}$, $c_1=6.24,c_2=8.91$, 所以这样就得到了第一棵回归树$T_1(x)$为
$$T_1(x)=\{\begin{array}{ll}6.24,& x<6.5\\ 8.91,& x⩾6.5\end{array}$$
即$f_1(x)=T_1(x)$。 这就是回归树的建树过程了， 然后谈到BDT， 就会发现根据第一棵树， 每个训练数据会有一个残差， 也就是经过第一轮的预测， 与样本的真实值还是有些差距的， 即

其中， $r_{2i}=y_i-f_1\left(x_i\right),i=1,2,\cdots ,10$

用$f_1(x)$拟合训练数据的平方损失误差：
$$L\left(y,f_1(x)\right)=\sum _{i=1}^{10}{\left(y_i-f_1\left(x_i\right)\right)}^2=1.93$$

第二步， 就是求$T_2(x)$, 方法和上面一样， 只是这次我们的训练集上图的残差的这个，把这个当做训练数据， 同理就会得到
$$T_2(x)=\{\begin{array}{ll}-0.52,& x<3.5\\ 0.22,& x⩾3.5\end{array}$$

这样， 我们就得到了$f_2(x)$
$$f_2(x)=f_1(x)+T_2(x)=\{\begin{array}{ll}5.72,& x<3.5\\ 6.46,& 3.5⩽x<6.5\\ 9.13,& x⩾6.5\end{array}$$
用$f_2(x)$拟合训练数据的平方损失误差：
$$L\left(y,f_2(x)\right)=\sum _{i=1}^{10}{\left(y_i-f_2\left(x_i\right)\right)}^2=0.79$$
就会发现误差小了一些了。 然后我们可以再次求残差， 再进行下面树的建立， 再求误差。 但误差小到了我们允许的范围内， 停。

这时候， $f(x)=f_n(x)$就是我们求得最终的提升树了。

好了， 有了上面的基础， 相信下面的GBDT就比较容易了。 当然上面的如何选择特征， 其实就是考察CART Tree建立的过程， 也是上面这个了。

3. 梯度提升之GBDT的原理

提升树利用加法模型和前向分布算法实现学习的优化过程， 但损失函数是平方损失或者指数损失时， 优化比较简单， 但是对于一般的损失函数而言， 往往每一步优化不容易， 针对这个问题， 所以Friedman大神提出了利用最速下降的近似方法， 即利用损失函数的负梯度来拟合基学习器。就是它了
$$-{\left[\frac{\partial L\left(y_i,F\left({\mathbf{x}}_{\mathbf{i}}\right)\right)}{\partial F\left({\mathbf{x}}_{\mathbf{i}}\right)}\right]}_{F(\mathbf{x})=F_{t-1}(\mathbf{x})}$$
用这个东西直接作为残差的近似值，拟合回归树。

怎么来理解这个近似呢？ 如果是平方损失函数的话， 就一目了然了：

$$L\left(y_i,F\left({\mathbf{x}}_{\mathbf{i}}\right)\right)=\frac{1}{2}{\left(y_i-F\left({\mathbf{x}}_{\mathbf{i}}\right)\right)}^2$$
这时候对$F(X_i)$求导， 得：
$$\frac{\partial L\left(y_i,F\left({\mathbf{x}}_{\mathrm{i}}\right)\right)}{\partial F\left({\mathbf{x}}_{\mathrm{i}}\right)}=F\left({\mathbf{x}}_{\mathrm{i}}\right)-y_i$$
就会发现， 这个残差正是梯度的相反数， 即：
$$r_{ti}=y_i-F_{t-1}(\mathbf{x})=-{\left[\frac{\partial L\left(y_i,F\left({\mathbf{x}}_{\mathbf{i}}\right)\right)}{\partial F\left({\mathbf{x}}_{\mathbf{i}}\right)}\right]}_{F(\mathbf{x})=F_{t-1}(\mathbf{x})}$$
所以在GBDT中使用负梯度作为残差进行拟合， 当然这是平方损失函数， 其他损失的话， 也会得到近似的结论， 只不过不是完全相等， 这里放张图体会一下：

这其实就是GBDT的核心了， 即利用损失函数的负梯度在当前模型的值作为回归问题提升树算法中的残差的近似值去拟合一个回归树。gbdt 每轮迭代的时候，都去拟合损失函数在当前模型下的负梯度。这样每轮训练的时候都能够让损失函数尽可能快的减小，尽快的收敛达到局部最优解或者全局最优解。

下面就是GBDT的梯度提升流程（这里是宏观的角度， 即分类器是个大类）， 和BDT差不多，只不过残差这里直接用负梯度进行了替代。

输入： 训练集$\{(x_1,y_1),(x_2,y_2),...(x_N,y_N)\},y_i属于\{+1,-1\}$ 。

1. 初始化： $F_0(\mathbf{x})=\arg {\min }_{h_0}{\sum }_{i=1}^{N}L\left(y_i,h_0(\mathbf{x})\right)$
2. for t=1 to T do
   1. 计算负梯度：${\tilde{y}}_i=-{\left[\frac{\partial L\left(y_i,F\left({\mathbf{x}}_i\right)\right)}{\partial F\left({\mathbf{x}}_i\right)}\right]}_{F(\mathbf{x})=F_{t-1}(\mathbf{x})},i=1,2,\cdots ,N$
   2. 拟合残差得到基学习器：
      $$w_t=\arg \underset{w_t}{\min }\sum _{i=1}^N{\left({\tilde{y}}_i-h_t\left(\mathbf{x};{\mathbf{w}}_{\mathbf{t}}\right)\right)}^2$$
   3. 得到基学习器的权重：
      $${\alpha }_t=\arg \underset{{\alpha }_t}{\min }\sum _{i=1}^{N}L\left(y_i,f_{t-1}\left({\mathbf{x}}_{\mathbf{i}}\right)+{\alpha }_t{h}_t\left(\mathbf{x};{\mathbf{w}}_t\right)\right)$$
   4. 更新$F_t(\mathbf{x})=F_{t-1}\left({\mathbf{x}}_{\mathbf{i}}\right)+{\alpha }_t{h}_t\left(\mathbf{x};{\mathbf{w}}_{\mathbf{t}}\right)$

如果公式不好看， 那就看图， 这个图应该也是了然：

可以发现GBDT和提升树的区别是残差使用了梯度来替代， 且每个基学习器有了对应的参数权重。gbdt通过多轮迭代,每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差基础上进行训练。对弱分类器的要求一般是足够简单，并且是低方差和高偏差的(因为训练的过程是通过降低偏差来不断提高最终分类器的精度)。 弱分类器一般会选择为CART TREE（也就是分类回归树）。由于上述高偏差和简单的要求每个分类回归树的深度不会很深。最终的总分类器是将每轮训练得到的弱分类器加权求和得到的（也就是加法模型）。

这就是GBDT的训练流程了， 当然要明确一点， gbdt无论用于分类还是回归一直都是使用CART回归树， 这个原因后面会说， 既然是用的回归树， 我们就有：
$$f(\mathbf{X})=\sum _{k=1}^K{c}_{k}I\left(\mathbf{X}\in R_k\right)$$
这时候， 流程可以化成下面的形式了，

算法第 1 步初始化，估计使损失函数极小化的常数值， 它是只有一个根结点的树。第 2(a) 步计算损失函数的负梯度在当前模型的值，将它作为残差的估计。对于平方损失函数，它就是通常所说的残差，对于一般损失函数，它就是残差的近似值。第 2(b) 步估计回归树叶结点区域，以拟合残差的近似值。第 2(c )步利用线性搜索估计叶结点区域的值，使损失函数极小化。第 2(d) 步更新回归树。第 3 步得到输出的最终 模型$\hat{f}(x)$。

这就是GBDT算法的流程了。上面的第一个问题。下面进行下一个问题， GBDT如何构建特征？

4. GBDT如何构建特征

其实说gbdt能够构建特征并非很准确，gbdt 本身是不能产生特征的，但是我们可以利用gbdt去产生特征的组合。在CTR预估中，工业界一般会采用逻辑回归去进行处理,在逻辑回归那篇文章中已经说过，逻辑回归本身是适合处理线性可分的数据，如果我们想让逻辑回归处理非线性的数据，其中一种方式便是组合不同特征，增强逻辑回归对非线性分布的拟合能力。

长久以来，我们都是通过人工的先验知识或者实验来获得有效的组合特征，但是很多时候，使用人工经验知识来组合特征过于耗费人力，造成了机器学习当中一个很奇特的现象：有多少人工就有多少智能。关键是这样通过人工去组合特征并不一定能够提升模型的效果。所以我们的从业者或者学界一直都有一个趋势便是通过算法自动，高效的寻找到有效的特征组合。Facebook 在2014年 发表的一篇论文便是这种尝试下的产物，利用gbdt去产生有效的特征组合，以便用于逻辑回归的训练，提升模型最终的效果。

这本应该是推荐系统那边的模型， 后面会在那边再详细整理一下这个， 这里简单整理一下这个过程：看论文里面的这个图：

我们 使用 GBDT 生成了两棵树，两颗树一共有五个叶子节点。我们将样本 X 输入到两颗树当中去，样本X 落在了第一棵树的第二个叶子节点，第二颗树的第一个叶子节点，于是我们便可以依次构建一个五维的特征向量，每一个纬度代表了一个叶子节点，样本落在这个叶子节点上面的话那么值为1，没有落在该叶子节点的话，那么值为 0.

于是对于该样本，我们可以得到一个向量[0,1,0,1,0] 作为该样本的组合特征，和原来的特征一起输入到逻辑回归当中进行训练。实验证明这样会得到比较显著的效果提升。

关于这个模型的详细整理和代码实践部分， 可以参考推荐系统专栏里面的LR+GBDT模型， 这里不多说， 但是这里会有一个问题， 就是LR+GBDT模型一般是用于点击率预测里面， 而点击率预测是个典型的分类问题（点击或者不点击）， 而我们上面一直说GBDT用的是CART回归树， 那么我们上面那部分进行样本类别划分的时候， 是怎么划分的呢？ 回归树不是输出连续值吗？ 我们怎么训练上面的GBDT模型？

所以下面才是重点， GBDT如何用于分类？

5. GBDT如何用于分类？

首先明确一点，gbdt 无论用于分类还是回归一直都是使用的CART 回归树。不会因为我们所选择的任务是分类任务就选用分类树，这里面的核心是因为gbdt 每轮的训练是在上一轮的训练的残差基础之上进行训练的。这里的残差就是当前模型的负梯度值 。这个要求每轮迭代的时候，弱分类器的输出的结果相减是有意义的。残差相减是有意义的。

如果选用的弱分类器是分类树，类别相减是没有意义的。上一轮输出的是样本 x 属于 A类，本一轮训练输出的是样本 x属于 B类。 A 和 B 很多时候甚至都没有比较的意义，A 类- B类是没有意义的。 那么我们如何进行分类呢？

假设样本X总共有K类， 来了一个样本， 我们使用gbdt来判断样本x属于哪一类？ 流程如下：

1. 我们在训练的时候， 是针对样本X每个可能的类训练一个分类回归树。
   举个例子， 假设目前样本一共三类， 也就是K=3, 样本x属于第二类。 那么针对该样本x的分类结果， 我们可以用一个三维向量[0, 1, 0]来表示。 0表示样本不属于该类， 1表示属于该类， 因为样本属于第二类嘛。
2. 针对样本由三类的情况， 我们实质上每轮训练的时候是训练三棵树
   第一棵针对样本x得第一类， 输入为(x, 0), 第二棵是针对样本x的第二类， 输入(x, 1), 第三棵针对样本x的第三类， 输入(x, 0), 这里的具体训练过程就是我们上面CART 回归树生成过程了， 按照上面的生成过程， 我们就可以解出这三棵树以及三棵树上x类别的预测值$f_1(x),f_2(x),f_3(x)$。
3. 在此类训练中， 我们仿照多分类的逻辑回归， 使用softmax产生概率， 则属于类别1的概率：

$$p_1(\mathbf{x})=\frac{\exp \left(f_1(\mathbf{x})\right)}{{\sum }_{l=1}^3\exp \left(f_l(\mathbf{x})\right)}$$

4. 对每个类别分别计算残差
   如类别1： ${\tilde{y}}_1=0-p_1\left(\mathbf{x}\right)$， 类别2：${\tilde{y}}_2=1-p_2\left(\mathbf{x}\right)$， 类别3：${\tilde{y}}_3=0-p_3\left(\mathbf{x}\right)$
5. 开始第二轮的训练， 针对第一类输入为$\left({\mathbf{x}}_{},{\tilde{y}}_1\right)$， 针对第二类输入为$\left({\mathbf{x}}_{},{\tilde{y}}_2\right)$， 针对第三类输入为$\left({\mathbf{x}}_{},{\tilde{y}}_3\right)$， 继续训练出三棵树。
6. 重复5直到迭代M轮， 就得到了最后的模型， 预测的时候只要找出概率最高的即为对应的类别。

如果感觉上面的理论比较难理解， 那么依然是来一个例子， 鸢尾花分类的数据集作为例子， 看一下gbdt多分类的过程。

数据集如下：

这是一个有6个样本的三分类问题。我们需要根据这个花的花萼长度，花萼宽度，花瓣长度，花瓣宽度来判断这个花属于山鸢尾，杂色鸢尾，还是维吉尼亚鸢尾。具体应用到gbdt多分类算法上面。我们用一个三维向量来标志样本的label。[1,0,0] 表示样本属于山鸢尾，[0,1,0] 表示样本属于杂色鸢尾，[0,0,1] 表示属于维吉尼亚鸢尾。

以样本1为例， 第一轮要训练3棵CART树， 对于第一棵CART回归树， 训练样本是[5.1, 3.5, 1.4, 0.2], label是1，第二棵 训练样本是[5.1, 3.5, 1.4, 0.2], label是0， 第三棵训练样本是[5.1, 3.5, 1.4, 0.2], label是0。

下面我们看CART 1是如何生成的， CART 1生成过程是从这四个特征中找一个特征作为CART 1的节点， 比如花萼长度作为节点， 6个样本当中花萼长度 大于5.1 cm的就是 A类，小于等于 5.1 cm 的是B类。生成的过程其实非常简单，但是有两个问题 ：

1. 是哪个特征最合适？
2. 是这个特征的什么特征值作为切分点？

即使我们已经确定了花萼长度做为节点。花萼长度本身也有很多值。在这里我们的方式是遍历所有的可能性，找到一个最好的特征和它对应的最优特征值可以让当前式子的值最小。
$$\underset{j,s}{\min }\left[\underset{q}{\min }\sum _{x_i\in R_1(j,s)}{\left(y_i-c_1\right)}^2+\underset{a_i}{\min }\sum _{x_i\in R_2(j,s)}{\left(y_i-c_2\right)}^2\right]$$
还记得这个吗？ 我们以第一个特征的第一个特征值为例。 $R_1$ 为所有样本中花萼长度小于 5.1 cm 的样本集合，$R_2$ 为所有样本当中花萼长度大于等于 5.1cm 的样本集合。所以 $R_1=\{2\},R_2=\{1,3,4,5,6\}$

解释一下上面这个图就是$y_1$是$R_1$label的均值， 由于$R_1$只有一个元素且label为1， 则均值为1， 即$y_1=1$, $y_2$是$R_2$的label均值， 由于$R_2$里面只有1的label是1， 3， 4， 5， 6label是0， 故均值是0.2， 下面就是用上面的公式计算的损失函数了。 就会发现山鸢尾类型在特征1的第一个特征值上的损失为0.8。

同样的方式， 我们可以计算特征1上第二个特征值上的损失，$R_1$为所有样本花萼长度小于4.9cm的样本集合， $R_2$为所有样本中花萼长度大于等于4.9cm的样本集合。 所以$R_1=\{\},R_2=\{1,2,3,4,5,6\}$, 再计算得到特征1的第二个特征上的损失：

这样我们可以遍历所有特征的所有特征值，找到让这个式子最小的特征以及其对应的特征值。 在这里我们算出来让这个式子最小的特征花萼长度,特征值为5.1 cm。这个时候损失函数最小为 0.8。

于是我们的预测函数为：
$$f(x)=\sum _{xϵR1}y1\ast I(xϵR1)+\sum _{xϵR2}y2\ast I(xϵR2)$$
此处$R_1=\{2\},R_2=\{1,3,4,5,6\}$, $y_1=1,y_2=0.2$, 训练完以后的最终式子为：
$$f1(x)=\sum _{xϵR1}1\ast I(xϵR1)+\sum _{xϵR2}0.2\ast I(xϵR2)$$

因此， 我们得到对样本属于类别1的预测值
$$f1(x)=1+0.2\ast 5=2f1(x)=1+0.2\ast 5=2$$

同理， 我们也可以构建CART 2和CART 3计算得到样本属于类别2和类别3的预测值$f_2(x),f_3(x)$， 那么我们就可以根据softmax得到样本属于类别1的概率：
$$p_1(\mathbf{x})=\frac{\exp \left(f_1(\mathbf{x})\right)}{{\sum }_{l=1}^3\exp \left(f_l(\mathbf{x})\right)}$$
类别2和类别3的也能算出来， 然后就可以得到残差， 每个样本都是如此， 就可以进行第二轮的训练了。

这就解决了上面的问题4， 最后再整理一个。

6. 为何GBDT如此受人青睐

GBDT的优势 首先得益于 Decision Tree 本身的一些良好特性，具体可以列举如下:

1. Decision Tree 可以很好的处理 missing feature，这是他的天然特性，因为决策树的每个节点只依赖一个 feature，如果某个 feature 不存在，这颗树依然可以拿来做决策，只是少一些路径。像逻辑回归，SVM 就没这个好处。

2. Decision Tree 可以很好的处理各种类型的 feature，也是天然特性，很好理解，同样逻辑回归和 SVM 没这样的天然特性。

3. 对特征空间的 outlier 有鲁棒性，因为每个节点都是 x < 的形式，至于大多少，小多少没有区别，outlier 不会有什么大的影响，同样逻辑回归和 SVM 没有这样的天然特性。

4. 如果有不相关的 feature，没什么干扰，如果数据中有不相关的 feature，顶多这个 feature 不出现在树的节点里。逻辑回归和 SVM 没有这样的天然特性(但是有相应的补救措施，比如逻辑回归里的 L1 正则化)。

5. 数据规模影响不大，因为我们对弱分类器的要求不高，作为弱分类器的决策树的深 度一般设的比较小，即使是大数据量，也可以方便处理。像 SVM 这种数据规模大的时候训练会比较麻烦。

当然 Decision Tree 也不是毫无缺陷，通常在给定的不带噪音的问题上，他能达到的最佳分类效果还是不如 SVM，逻辑回归之类的。但是，我们实际面对的问题中，往往有很大的噪音，使得 Decision Tree 这个弱势就不那么明显了。而且，GBDT 通过不断的叠加组合多个小的 Decision Tree，他在不带噪音的问题上也能达到很好的分类效果。换句话说，通过GBDT训练组合多个小的 Decision Tree 往往要比一次性训练一个很大的 Decision Tree 的效果好很多。因此不能把 GBDT 理解为一颗大的决策树，几颗小树经过叠加后就不再是颗大树了，它比一颗大树更强。

关于GBDT的理论和细节， 先到这里， 更详细的可以参考下面的第三个链接，这里就先不都整理过来了， 有了上面的GBDT的这些知识， 对于了解推荐系统里面的GBDT+LR模型， 或者GBDT+FM模型就比较轻松了， 对于了解XGBOOST和Lightgbm应该也会比较轻松了。

铺垫已经完成， 下一个就要一睹GBDT+LR模型的真容了

参考：

• 李航老师 – 《统计学习方法》
• 西瓜书第八章 - 集成学习
• 机器学习算法GBDT — 比较详细的一篇
• GBDT的原理和应用
• 梯度提升树(GBDT)原理小结
• B站上一个讲集成学习的视频感觉也不错
• 白话机器学习算法理论+实战之决策树
• 白话机器学习算法理论+实战番外篇之Xgboost
• 白话机器学习算法理论+实战番外篇之LightGBM
• 白话机器学习算法理论+实战之AdaBoost算法