机器学习算法：GBDT

1. Adaboost 的全局过程

AdaBoost 的全局流程.png

2.AdaBoost 和GradientBoost 的公式

AdaBoost 和GradientBoost.png

3.GBDT 算法概述

GBDT概述.png

4.GBDT 的理论思想
（1）是一种决策树的提升算法，通过全部样本迭代生成多棵回归树。
（2）GBDT是利用多棵回归树处理回归问题的解决方案，通过调整损 失函数，也可以处理分类问题。
（3）GBDT的发明者是Friedman，范化了Adaboost，至于随机森林则是Friedman的好友Breiman发明的。
（4）GBDT算法中用到的决策树只能是回归树,这是因为该算法的每颗树学的是之前所有树结论之和的残差,这个残差就是一个累加预测 值后能得到真实值。通过将每次预测出的结果与目标值的残差作 为下一次学习的目标。

GBDT的定义.png

5.训练流程

Adaboost 和GBDT的流程.png

在训练过程中，Adaboost 训练弱分类器时，基于上一次的分类器每次更新各特征变量的权重；
GBDT是基于上一个分类器的的残差进行训练，最后将所有的残差加和，使得损失函数最小化，便可以将模型优化到最优。
6.GBDT 应用于回归问题

应用于回归.png