机器学习 | Python实现GA-XGBoost遗传算法优化极限梯度提升树特征分类模型调参

机器学习 | Python实现GA-XGBoost遗传算法优化极限梯度提升树特征分类

目录

    • 机器学习 | Python实现GA-XGBoost遗传算法优化极限梯度提升树特征分类
      • 基本介绍
      • 模型描述
      • 程序设计
      • 参考资料

基本介绍

XGBoost的核心算法思想基本就是:
不断地添加树,不断地进行特征分裂来生长一棵树,每次添加一个树,其实是学习一个新函数f(x),去拟合上次预测的残差。当我们训练完成得到k棵树,我们要预测一个样本的分数,其实就是根据这个样本的特征,在每棵树中会落到对应的一个叶子节点,每个叶子节点就对应一个分数。最后只需要将每棵树对应的分数加起来就是该样本的预测值。

模型描述

  • 不断地枚举不同树的结构,然后利用打分函数来寻找出一个最优结构的树,接着加入到模型中,不断重复这样的操作。这个寻找的过程使用的就是贪心算法。选择一个feature分裂,计算loss function最小值,然后再选一个feature分裂,又得到一个loss function最小值,你枚举完,找一个效果最好的,把树给分裂,就得到了小树

你可能感兴趣的:(#,XGBoost极限梯度提升树,机器学习,GA-XGBoost,遗传算法优化,极限梯度提升树,分类模型调参)