从boosting谈起

Boosting

将一些表现效果一般（可能仅仅优于随机猜测）的模型通过特定方法进行组合来获得一个表现效果较好的模型。抽象地说，模型的训练过程是对一任意可导目标函数的优化过程。

Adaptive boost

通过组合一系列表现一般的模型获得了一个表现优秀的模型，其中，每个新的模型都会基于前一个模型的表现结果进行调整（adaptive）

• D1->D2->D3，为D1中错误分类点增加权重，从而得到D2，再对D2中的错误分类点增加权重，从而得到D3.
• combine(D1,D2,D3)->D4
  
  基分类器最常见的是决策树，在每一轮提升相应错分类点的权重可以被理解为调整错分类点的observation
  probability。

Gradient boosting

Gradient Descent + Boosting，通过反复地选择一个指向负梯度方向的函数，该算法可被看做在函数空间里
对目标函数进行优化。可以说 AdaBoost 是 Gradient Boosting 的一个特例或者Gradient Boosting是对
AdaBoost进行推广。
和 AdaBoost 相同，Gradient Boosting也是重复选择一个表现一般的模型并且每次基于先前模型的表现进行
调整，不同之处在于，AdaBoost 是通过提升错分数据点的权重来定位模型的不足而 Gradient Boosting 是通
过算梯度（gradient）来定位模型的不足，即通过负梯度改进模型。

gradient boosting的损失函数可以是square loss，absolute loss等，square loss的缺点是异常值
的鲁棒性差。
gradient boosting可以用于回归、分类等问题，对于分类问题，它的基分类器一般是决策树，即
GBDT(gradient boosting decision tree)。

GBDT算法基树采用CART回归树，树节点的划分指标是平方损失函数，叶子节点的值是落在该叶子节点所有样本的目标均值。树与树之间的Boosting逻辑是：新树拟合的目标是上一课树的损失函数的负梯度的值。GBDT最终的输出结果是将样本在所有树上的叶子值相加。

GBDT V.S. LR

从决策边界来说，线性回归的决策边界是一条直线，逻辑回归的决策边界根据是否使用核函数可
以是一条直线或者曲线，而GBDT的决策边界可能是很多条线。
GBDT的基分类器是CART 树，并不一定总是好于线性回归或逻辑回归。

XGBoost

eXtreme Gradient Boosting，专注于快速计算和模型表现。
XGboost的工具支持并行化、分布式计算、去中心化计算、cache优化等。

XGBoost V.S. GBDT

• 传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到
  了一阶和二阶导数。损失函数函数都是可自定义的，但 XGBoost 需要自定义损失函数二阶可导。
• 传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2
  正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。
  
• 基模型拟合差异， XGBoost 是拟合 -g/(h+r)，GBDT是拟合-g。
• xgboost在代价函数里加入了正则项，用于控制模型的复杂度，防止过拟合。
• xgboost借鉴了随机森林的做法，支持列抽样，不仅能降低过拟合，还能减少计算。
• 对缺失值的处理。对于特征的缺失值，xgboost可以自动学习出它的分裂方向。
• 特征粒度上的并行。决策树之间串行，决策树内计算最佳分裂点时（对特征值排序）并行。xgboost
  在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个 结构，
  它在减小了重复计算的同时，可以多线程计算特征增益。

未完待续

Reference

参考1，medium
参考2，知乎