GBDT、XGBoost、LightGBM的区别与联系

GBDT (Gradient Boosting Decision Tree)
是机器学习中一个经典的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。GBDT 也是各种数据挖掘竞赛的致命武器，据统计 Kaggle 上的比赛有一半以上的冠军方案都是基于 GBDT。

XGBoost（eXtreme Gradient Boosting）
华盛顿大学的陈天奇博士开发，它是Gradient Boosting Machine的一个c++实现，并在原有的基础上加以改进，从而极大地提升了模型训练速度和预测精度。可以说，XGBoost是Gradient Boosting的高效实现。

LightGBM （Light Gradient Boosting Machine）
是一个实现 GBDT 算法的框架，支持高效率的并行训练，2017年1月Microsoft在Github上开源。https://github.com/Microsoft/LightGBM

• 三者之间的关系总结：

1. GBDT是模型；
2. XGBoost是GBDT模型的升级版，同时又是实现了XGBoost的框架。
3. LightGBM是XGBoost框架的升级版，同时实现了GBDT和XGBoost模型。