引用七月在线课程文档http://localhost:8888/notebooks/XGBoost.ipynb
XGBoost
XGBoost=eXtreme+GBDT
=eXtreme+(Gradient+BDT)
=eXtreme+Gradient+(Boosting+DecisionTree)
→→→
重难点:
1.如何定义极限梯度提升中的决策树模型
2.从GBDT到XGBoost主要是两个方向上的优化:
(1)引入二阶梯度
(2)引入正则化项以防止过拟合:XGBoost引入了一个结构风险函数
3.理解对于整个样本空间的遍历等价于先对叶子节点遍历再对每一个叶子节点中的属性值进行遍历。