GBDT也是集成学习Boosting家族的成员，但是却和传统的Adaboost有很大的不同。回顾下Adaboost，我们是利用前一轮迭代弱学习器的误差率来更新训练集的权重，这样一轮轮的迭代下去。GBDT也是迭代，使用了前向分布算法，但是弱学习器限定了只能使用CART回归树模型，同时迭代思路和Adaboost也不同
GBDT在迭代过程中, 假设我们前一轮得到的强学习器是,损失函数是, 那么本轮得到的新的一个学习器, 让本轮的损失函数, 本轮迭代的决策树, 要使得全局上的损失尽量变小.
GBDT 回归
GBDT的思想可以用一个通俗的例子解释，假如有个人30岁，我们首先用20岁去拟合，发现损失有10岁，这时我们用6岁去拟合剩下的损失，发现差距还有4岁，第三轮我们用3岁拟合剩下的差距，差距就只有一岁了。如果我们的迭代轮数还没有完，可以继续迭代下面，每一轮迭代，拟合的岁数误差都会减小。
本质上, GBDT对于回归类问题, 拟合的是一个残差
GBDT也是一个加法模型, 用的也是前向分步算法:
其中, 为决策树的参数, 为决策树的个数
假设一个训练集
我们知道GBDT使用CART作为其弱分类器, 对于回归问题, 输出数据将被划分为个互不相交的区域,并且在每个区域上都有一个固定的输出常量, 这个常量前面提到过,可能是一个均值, 那么树可以表示为:
在前向分布算法的第步, 给定当前模型,我们需要求解:
公式和文章开始部分是一致的, 那么我们得到了第步的树的参数, 那么对于这个损失函数, 我们使用平方误差损失函数:
其损失变为:
此处, 就是当前模型拟合到的数据的残差
算法步骤如下
- 输入数据T
- 初始化树
- 对:
- 计算残差
- 拟合残差得到一个回归树
- 更新
- 得到完整的回归树
GBDT 负梯度拟合
前面的步骤, 损失函数是平方误差损失, 这类sunshi优化是简单的, 但也容易过拟合, 针对这一个问题, 有学者提出了梯度提升(gradient boosting)算法, 利用快速梯度下降的方法, 利用损失函数的负梯度作为回归算法中, 残差的近似值
那么, 最终,GBDT的算法变为了:
算法步骤如下
- 输入数据T
- 初始化树
- 对:
- 对于:
- 计算残差近似
- 对拟合一棵回归树, 最终我们得到棵树的结点区域
- 对于, 计算最优的拟合值:
- 更新
- 得到回归树
在上述步骤中, 如果损失函数是平方损失, 那么就按以前的步骤计算就可以了, 如果不是, 那就替换为残差近似. 对于区域来说, 这部分属于CART的内容
GBDT 分类问题
这里我们再看看GBDT分类算法，GBDT的分类算法从思想上和GBDT的回归算法没有区别，但是由于样本输出不是连续的值，而是离散的类别，导致我们无法直接从输出类别去拟合类别输出的误差。
为了解决这个问题，主要有两个方法，一个是用指数损失函数，此时GBDT退化为Adaboost算法。另一种方法是用类似于逻辑回归的对数似然损失函数的方法。也就是说，我们用的是类别的预测概率值和真实概率值的差来拟合损失。本文仅讨论用对数似然损失函数的GBDT分类。而对于对数似然损失函数，我们又有二元分类和多元分类的区别。
二元分类
如果使用指数损失, 那么GBDT其实相当于Adaboost, 如果使用逻辑回归里的对数似然,那么损失函数为:
多元分类GBDT
多元比二元复杂一些, 多元对数似然,损失函数为:
这里的为类别数
集合上两式，我们可以计算出第t轮的第i个样本对应类别l的负梯度误差为
GBDT总结
GBDT主要的优点有：
- 可以灵活处理各种类型的数据，包括连续值和离散值。
- 在相对少的调参时间情况下，预测的准备率也可以比较高。这个是相对SVM来说的。
- 使用一些健壮的损失函数，对异常值的鲁棒性非常强。比如 Huber损失函数和Quantile损失函数。
GBDT的主要缺点有： - 由于弱学习器之间存在依赖关系，难以并行训练数据。不过可以通过自采样的SGBT来达到部分并行。