XGBoost和GBDT的区别

一个关于Boosting集成学习方法代表XGBoot和GBDT不同点的小总结。

比较项目	GBDT	XGBoost
基分类器	CART树	除了CART，还支持线性分类器
优化过程	只用到代价函数的一阶导数信息	对代价函数进行了二阶泰勒展开，同时用到一、二阶导数
代价函数的正则化	没有使用到正则项	可选l1、l2正则化，用于控制模型的复杂度和防止过拟合
列抽样	不能使用列抽样	可以像RF一样支持列抽样，再次防止过拟合并且训练速度快
并行处理	迭代不支持并行	支持特征粒度上的并行

综合来说XGBoost不但在处理速度力压XGBoost，并且在预测精度上也占有绝对的优势。