机器学习笔记——Boosting中常用算法(GBDT、XGBoost、LightGBM)迭代路径

大家好,这里是好评笔记,公主号:Goodnote,专栏文章私信限时Free。本文主要阐述Boosting中常用算法(GBDT、XGBoost、LightGBM)的迭代路径。

机器学习笔记——Boosting中常用算法(GBDT、XGBoost、LightGBM)迭代路径_第1张图片


文章目录

  • XGBoost 相对 GBDT 的改进
    • 引入正则化项,防止过拟合
      • 损失函数 L ( y i , y ^ i ) L(y_i, \hat{y}_i) L(yi,y^i)
      • 正则化项 Ω ( f m ) \Omega(f_m) Ω(fm)
    • 使用二阶导数信息,加速收敛
      • 一阶导数与二阶导数的区别
      • 二阶导数的优势
        • 1. 更准确的步长选择,避免过大或过小的更新
        • 2. 更快速的收敛
        • 3. 更稳定的模型优化
    • 支持列采样和行采样,提升模型的泛化能力
      • 行采样(Row Subsampling)
      • 列采样(Column Subsampling)
      • 行采样与列采样的结合
      • 优势总结
    • 并行化处理,提升训练速度
      • 结合特征分片与直方分裂的并行化优势
      • LightGBM 和 XGBoost 中直方分裂的差异
    • 支持缺失值处理和稀疏特征优化
    • 提供早停机制和学习率衰减,控制训练过程
  • LightGBM 相较于 XGBoost 的优势
    • 训练速度
      • 内存效率
    • 类别特征支持
    • 扩展性和分布式训练支持
    • 早停机制和自动调参
    • 过拟合控制
      • 总结
  • 历史文章


XGBoost 相对 GBDT 的改进

GBDT(Gradient Boosting Decision Tree,梯度提升决策树) 是一种集成学习算法。GBDT 使用梯度提升(Gradient Boosting)的思想,每一棵决策树都是基于前一轮预测的残差(即误差)来训练的,从而逐步逼近真实值。

XGBoost 相对传统 GBDT 在原理和实现上进行了多项改进,使得它在计算效率、模型精度、内存管理和并行性等方面有显著提升。以下是 XGBoost 相对 GBDT 的关键改进&#x

你可能感兴趣的:(机器学习笔记,机器学习,boosting,人工智能,深度学习,AI,算法工程师)