极限梯度提升决策树(XGBoost)学习笔记

 

引用七月在线课程文档http://localhost:8888/notebooks/XGBoost.ipynb

XGBoost

XGBoost=eXtreme+GBDT

              =eXtreme+(Gradient+BDT)

              =eXtreme+Gradient+(Boosting+DecisionTree)

→→→

重难点:

1.如何定义极限梯度提升中的决策树模型

2.从GBDT到XGBoost主要是两个方向上的优化:

(1)引入二阶梯度

(2)引入正则化项以防止过拟合:XGBoost引入了一个结构风险函数

极限梯度提升决策树(XGBoost)学习笔记_第1张图片

3.理解对于整个样本空间的遍历等价于先对叶子节点遍历再对每一个叶子节点中的属性值进行遍历。极限梯度提升决策树(XGBoost)学习笔记_第2张图片

你可能感兴趣的:(决策树,算法,机器学习)