XGboost原理

xgboost就是一堆CART树的集合，将每棵树的预测值加在一起得到最后的预测值。xgboost利用了损失函数二阶的导数信息，并且在目标函数之外加入了正则项，避免过拟合。