机器学习算法进阶——提升、XGBoost

提升、XGBoost理论、实践

  • 手写理论
  • 提升
    • 提升算法
    • 提升算法推导
    • 提升算法GBDT
    • GBDT总结
  • XGBoost(eXtreme Gradient Boosting)
    • 目标函数计算
    • XGBoost小结
  • Adaboost
    • Adaboost
    • Adaboost总结

手写理论

机器学习算法进阶——提升、XGBoost_第1张图片机器学习算法进阶——提升、XGBoost_第2张图片机器学习算法进阶——提升、XGBoost_第3张图片

![在这里插入图片描述](https://img-blog.csdnimg.cn/20201122234512903.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyODczNDc5,size_16,color_FFFFFF,t_70#pic_c机器学习算法进阶——提升、XGBoost_第4张图片机器学习算法进阶——提升、XGBoost_第5张图片
机器学习算法进阶——提升、XGBoost_第6张图片

提升

提升的概念:
机器学习算法进阶——提升、XGBoost_第7张图片

提升算法

机器学习算法进阶——提升、XGBoost_第8张图片

提升算法推导

机器学习算法进阶——提升、XGBoost_第9张图片【梯度近似】
机器学习算法进阶——提升、XGBoost_第10张图片

提升算法GBDT

机器学习算法进阶——提升、XGBoost_第11张图片
【梯度提升决策树】
机器学习算法进阶——提升、XGBoost_第12张图片
【GBDT】
机器学习算法进阶——提升、XGBoost_第13张图片【参数设置和正则化】
机器学习算法进阶——提升、XGBoost_第14张图片
【衰减因子、降采样】
机器学习算法进阶——提升、XGBoost_第15张图片

GBDT总结

机器学习算法进阶——提升、XGBoost_第16张图片

XGBoost(eXtreme Gradient Boosting)

【使用二阶导信息】
机器学习算法进阶——提升、XGBoost_第17张图片【决策树的描述】
机器学习算法进阶——提升、XGBoost_第18张图片
【正则项的定义】
机器学习算法进阶——提升、XGBoost_第19张图片

目标函数计算

机器学习算法进阶——提升、XGBoost_第20张图片【继续化简】
机器学习算法进阶——提升、XGBoost_第21张图片举例:
机器学习算法进阶——提升、XGBoost_第22张图片【构造决策树的结构】
机器学习算法进阶——提升、XGBoost_第23张图片机器学习算法进阶——提升、XGBoost_第24张图片

XGBoost小结

机器学习算法进阶——提升、XGBoost_第25张图片

Adaboost

【boosting的思想】
机器学习算法进阶——提升、XGBoost_第26张图片

Adaboost

机器学习算法进阶——提升、XGBoost_第27张图片
对于m = 1,2,…,M
机器学习算法进阶——提升、XGBoost_第28张图片机器学习算法进阶——提升、XGBoost_第29张图片机器学习算法进阶——提升、XGBoost_第30张图片

Adaboost总结

机器学习算法进阶——提升、XGBoost_第31张图片附:偏差与方差
机器学习算法进阶——提升、XGBoost_第32张图片机器学习算法进阶——提升、XGBoost_第33张图片机器学习算法进阶——提升、XGBoost_第34张图片

你可能感兴趣的:(机器学习算法)