GBDT

十大机器学习算法-梯度提升决策树（GBDT）

简介梯度提升决策树（GBDT）由于准确率高、训练快速等优点，被广泛应用到分类、回归合排序问题中。该算法是一种additive树模型，每棵树学习之前additive树模型的残差。

zjwreal·2024-09-12 17:13

《机器学习》—— XGBoost（xgb.XGBClassifier）分类器

XGBoost（xgb.XGBClassifier）分类器代码使用示例一、XGBoost分类器的介绍XGBoost分类器是一种基于梯度提升决策树（GradientBoostingDecisionTree，GBDT

张小生180·2024-09-10 06:01

每天一个数据分析题（二百二十）

在集成学习的GBDT算法中，每次训练新的决策树的目的是()？A.预测原始数据的标签B.预测上一个模型的残差C.降低模型的偏差D.降低模型的方差题目来源于CDA模拟题库点击此处获取答案

跟着紫枫学姐学CDA·2024-08-27 00:26

（十六）梯度提升树--回归和分类的算法(gbdt))

一、GBDT算法中有两个值，一个预测值，一个真实值，梯度提升树，减小残差，使梯度减小。

羽天驿·2024-02-20 16:44

Task 11 XGBoost 算法分析与案例调参实例

1.XGBoost算法XGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩

沫2021·2024-02-15 00:38

GBDT算法的升级--XGBoost与LightGBM算法

本文同样不涉及公式推导及代码，对于GBDT算法的学习可以参考前面的文章GBDT算法原理，这里不再讲述GBDT，只讲述XGBoost与LightGBM算法原理下面推荐两篇写得最权威最官方(没有之一)的文档参考文档

CquptDJ·2024-02-13 14:52

梯度提升树系列9——GBDT在多任务学习中的应用

目录写在开头1.多任务学习的基础知识1.1多任务学习的概念和优势1.1.1概念1.1.2优势1.2GBDT在多任务学习中的角色1.2.1GBDT的基本原理1.2.2GBDT在多任务学习中的应用2.实际应用案例和最佳实践

theskylife·2024-02-12 16:12

XGBoost算法

XGBoost是一种基于梯度提升决策树（GBDT）的算

小森( ﹡ˆoˆ﹡ )·2024-02-12 04:11

机器学习系列（8）——提升树与GBDT算法

本文介绍提升树模型与GBDT算法。0x01、提升树模型提升树是以分类树或回归树为基本分类器的提升方法。提升树被认为是统计学习中性能最好的方法之一。

陌简宁·2024-02-11 14:40

GBDT--梯度提升树

目录一梯度提升树的基本思想1梯度提升树pkAdaBoost2GradientBoosting回归与分类的实现二梯度提升树的参数1迭代过程1.1初始预测结果0的设置1.2使用回归器完成分类任务1.3GBDT

吓得我泰勒都展开了·2024-02-11 14:40

集成学习——梯度提升树（GBDT）

集成学习——梯度提升树（GBDT）1模型算法介绍2sklearn中的实现3参考资料1模型算法介绍GBDT也是集成学习Boosting家族的成员，通过采用加法模型，不断减小训练过程中产生的残差算法。

wxw_csdn·2024-02-11 14:10

梯度提升树系列7——深入理解GBDT的参数调优

目录写在开头1.GBDT的关键参数解析1.1学习率（learningrate）1.2树的数量（n_estimators）1.3树的最大深度（max_depth）1.4叶子节点的最小样本数（min_samples_leaf

theskylife·2024-02-11 14:40

学习笔记 ——GBDT（梯度提升决策树）

一.前言GBDT(GradientBoostingDecisionTree)梯度提升决策树，通过多轮迭代生成若干个弱分类器，每个分类器的生成是基于上一轮分类结果来进行训练的。

dastu·2024-02-11 14:40

datawhale 10月学习——树模型与集成学习：梯度提升树

前情回顾决策树CART树的实现集成模式两种并行集成的树模型AdaBoost结论速递本次学习了GBDT，首先了解了用于回归的GBDT，将损失使用梯度下降法进行减小；用于分类的GBDT要稍微复杂一些，需要对分类损失进行定义

SheltonXiao·2024-02-11 14:39

梯度提升树系列8——GBDT与其他集成学习方法的比较

目录写在开头1.主要集成学习算法对比1.1GBDT1.2随机森林1.3AdaBoost1.4整体对比2.算法性能的比较分析2.1准确率与性能2.2训练时间和模型复杂度2.3应用实例和案例研究3.选择合适算法的标准

theskylife·2024-02-11 14:39

梯度提升树系列6——GBDT在异常检测领域的应用

目录写在开头1异常检测的基本概念1.1定义和目标1.2GBDT在异常检测中的适用性2信用卡欺诈检测案例分析2.1场景介绍2.2收集数据和特征工程2.3进行异常值识别2.4模型效果评估2.5模型优化3策略和技巧

theskylife·2024-02-09 14:32

梯度提升树系列3——利用GBDT进行回归分析

目录写在开头1.回归问题的基本概念1.1回归分析的定义和目的1.2GBDT在回归中的特点2房价预测模型案例研究2.1数据准备和预处理2.2模型构建和评估方法2.3具体代码3模型调优和评估3.1参数调优的详细策略

theskylife·2024-02-07 23:58

梯度提升树系列4——GBDT在排序问题中的应用

目录写在开头1学习排序的基础1.1排序问题的定义1.2GBDT在排序中的应用场景1.3结合GBDT的排序模型2.搜索引擎应用实例2.1案例背景2.2数据构建2.3具体实现代码3.模型评估和优化策略3.1

theskylife·2024-02-07 23:58

梯度提升树系列5——使用GBDT进行特征选择

本文将深入探讨如何使用梯度提升决策树（GradientBoostingDecisionTree,GBDT）进行特征选择，并强调这一方法在实践中的重要性和效果。

theskylife·2024-02-07 23:56

5000字干货 | 决策树、随机森林、bagging、boosting、Adaboost、GBDT、XGBoost总结

作者：ChrisCaohttps://zhuanlan.zhihu.com/p/75468124大家好，我是小z今天分享一波机器学习的干货~一.决策树决策树是一个有监督分类模型，本质是选择一个最大信息增益的特征值进行输的分割，直到达到结束条件或叶子节点纯度达到阈值。下图是决策树的一个示例图：根据分割指标和分割方法，可分为：ID3、C4.5、CART算法。1.ID3算法：以信息增益为准则来选择最优划

数据不吹牛·2024-02-07 23:36

Bagging的随机森林；Boosting的AdaBoost和GBDT

集成学习应用实践importnumpyasnpimportos%matplotlibinlineimportmatplotlibimportmatplotlib.pyplotaspltplt.rcParams['axes.labelsize']=14plt.rcParams['xtick.labelsize']=12plt.rcParams['ytick.labelsize']=12importw

S1406793·2024-02-07 23:35

云深处见晓·2024-02-06 19:24

GBDT，XGBOOST

1.简介gbdt全称梯度下降树，在传统机器学习算法里面是对真实分布拟合的最好的几种算法之一，在前几年深度学习还没有大行其道之前，gbdt在各种竞赛是大放异彩。原因大概有几个，一是效果确实挺不错。

Liam_ml·2024-02-05 23:02

梯度提升树系列2——如何使用GBDT解决分类问题

目录写在开头1.GBDT在二分类问题中的应用详细解析1.1算法流程1.2实现方法1.3优化策略和常见问题1.4具体场景实现2.GBDT在多分类问题中的应用2.1背景介绍2.2实现代码3.参数调整和模型优化

theskylife·2024-02-05 13:05

梯度提升树系列1——梯度提升树（GBDT）入门：基本原理及优势

目录写在开头1.GBDT的基本原理1.1GBDT的定义1.2GBDT的工作机制1.2.1初始化1.2.2迭代训练1.2.3集成预测2.GBDT的优势2.1高精度预测能力2.2对各种类型数据的适应性2.3

theskylife·2024-02-05 13:04

开源|LightGBM基本原理，以及调用形式

GBDT：GBDT(GradientBoostingDecisionTree)是机器学习中一个长盛不衰的模型，其主要思想是利用弱分

噶噶~·2024-02-04 21:15

GBDT为什么比决策树结果更优？从决策树到随机森林再到GBDT，模型是怎么优化的？

决策树在计算过程中，已经通过信息增益或基尼系数理论使得决策树能够使得损失函数最小化了，为什么GBDT能够获得更好的结果？是决策树没有对数据信息利用充分吗？决策树，是通过计算信息增益的方式构建决策树。

噶噶~·2024-02-04 21:45

XGboost常见特征处理及其他问题

1.Bagging和Boosting区别RF,GBDT,XGBoost,lightGBM都属于集成学习（EnsembleLearning），集成学习的目的是通过结合多个基学习器的预测结果来改善基本学习器的泛化能力和鲁棒性

噶噶~·2024-02-04 21:14

【数据竞赛】5行代码提升GBDT，提升巨大！

看过我历史文章的都知道，以lightgbm，xgboost，catboost为代表的GBDT，在部分工业界场景的表格数据集上，一直一览众山小。

风度78·2024-01-30 02:31

机器学习_集成学习之Boosting(提升较弱的模型，以降低弱模型的偏差)

文章目录介绍AdaBoost算法梯度提升算法(GBDT)极端梯度提升(XGBoost)Bagging算法与Boosting算法的不同之处介绍Boosting的意思就是提升，这是一种通过训练弱学习模型的“

you_are_my_sunshine*·2024-01-29 08:54

秋招机器学习面试题问题总结

5、GBDT的损失函数是什么？6、SVM的损失函数是什么？如何推导SVM？为什么引入核函数，以及为什么叫核函数？7、什么

上岸的程序员·2024-01-28 07:14

我的隐私计算学习——联邦学习（3）

（五）纵向联邦学习—安全树思路可以通过以下脉络学习：决策树--------->集成方法Bagging&Boosting--------->GBDT--------->XGBoost--------->SecureBoostTree

Atara8088·2024-01-28 00:24

[源码和文档分享]Python实现的基于SVM、LR、GBDT和决策树算法进行垃圾短信识别和分类

摘要短信业务的迅猛发展在丰富了人们的沟通方式的同时，同样遭受到垃圾短信的困扰。对于运营商来说，垃圾短信造成基础设施资源的巨大浪费；对于移动用户来说，大量的垃圾短信使用户不能够及时查看正常的短信，干扰了用户的正常生活。垃圾短信的识别已经成为一个亟待解决的问题，而传统的基于黑白名单、关键字进行过滤的效果有限，不能起到很好的识别效果。针对该问题，我们基于垃圾短信的文本内容，将文本分类算法应用到垃圾短信的

ggdd5151·2024-01-26 23:03

排序算法经典模型: 梯度提升决策树（GBDT）的应用实战

目录一、Boosting训练与预测二、梯度增强的思想核心三、如何构造弱学习器和加权平均的权重四、损失函数五、梯度增强决策树六、GBDT生成新特征主要思想构造流程七、梯度增强决策树以及在搜索的应用7.1GDBT

数据与后端架构提升之路·2024-01-25 07:49

GBDT+LR探秘：构建高效二分类模型的初体验

GBDT（GradientBoostingDecisionTree，梯度提升决策树）和LR（LogisticRegression，逻辑回归）是两种广泛应用于二分类问题的算法。

uncle_ll·2024-01-22 13:45

GBDT分类实战完全总结(二)

第二部分：sklearn分类实例实例一：Featuretransformationswithensemblesoftrees使用集成树的特征转换importnumpyasnpnp.random.seed(10)#seed()用于指定随机数生成时所用算法开始的整数值。#1.如果使用相同的seed()值，则每次生成的随即数都相同；#2.如果不设置这个值，则系统根据时间来自己选择这个值，此时每次生成的随

Lilian1002·2024-01-21 02:17

GBDT回归实战完全总结(二)

第二部分：sklearn分类实例（一）、实例一：GradientBoostingregressionDemonstrateGradientBoostingontheBostonhousingdataset.ThisexamplefitsaGradientBoostingmodelwithleastsquareslossand500regressiontreesofdepth4.来源：点击打开链接#

Lilian1002·2024-01-21 02:17

GBDT分类实战完全总结（一）

第一部分：参数说明（一）、简述sklearn自带的ensemble模块中集成了GradientBoostingClassifier的类，参数包括：classsklearn.ensemble.GradientBoostingClassifier(loss=’deviance’,learning_rate=0.1,n_estimators=100,subsample=1.0,criterion=’fr

Lilian1002·2024-01-21 02:46

《scikit-learn》xgboost

XGBoost算法•XGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。

星海千寻·2024-01-19 12:29

SVR， adaboost， MLP， GBDT， XGBOOST， LIGHTGBM以及随机森林模型参数优化+模型训练+shap解释

SVR,MLP,adaboost，GBDT,XGBOOST,LIGHTGBM，随机森林模型参数优化+模型训练+shap解释导入所需要的库及数据处理模型超参数优化拆分训练集和测试集，进行shap解释导入所需要的库及数据处理

sdu_study·2024-01-17 14:18

GBDT（梯度提升树 Gradient Boosting Decison Tree）学习笔记

介绍集成学习Boosting一族将多个弱学习器(或称基学习器)提升为强学习器，像AdaBoost,GBDT等都属于“加性模型”(AdditiveModel)，即基学习器的线性组合。

桂花很香,旭很美·2024-01-16 11:12

XGBOOST（Extreme Gradient Boosting）算法原理详细总结

上篇我们对传统的GBDT算法原理进行了探讨，本篇我们来探讨一个具有王者地位的算法：XGBOOST（ExtremeGradientBoosting）。

天才厨师1号·2024-01-16 07:57

集成学习之GBDT算法详解

先说一下提升树(BoostingDecisionTree)：通过拟合残差的思想来进行提升，残差=真实值-预测值，例如：某人年龄为100岁，预测其年龄第一次预测结果为80岁，残差为100-80=20第二次预测以残差20为目标，预测结果为16岁，残差为4第三次预测以残差4为目标，预测结果为3.2，残差为0.8三次结果串联起来预测结果为80+16+3.2=99.2，通过拟合残差可以将多个弱学习器组成一个

进击的卡特琳娜·2024-01-15 09:50

集成学习原理概要 (随机森林, gbdt, XGBoost)

集成学习是一类机器学习算法，主要用于分类和回归任务，基本思想是结合多个弱模型变成一个强模型。本文自网络资料参考整理而来，参考列表在文末。本文重点描述方法原理和基本过程，具体推导请参考文末链接。1.分类决策树基本特征：每个叶子节点是一个决策分类，比如买这件商品或者不买；比如去A商场还是B、C商场。每个中间节点是一个特征的判断。分裂决策：信息增益。遍历每个特征，每种决策（离散变量可以为多扇出，连续变量

Caucher·2024-01-13 02:11

LightGBM原理和调参

背景知识LightGBM(LightGradientBoostingMachine)是一个实现GBDT算法的框架，具有支持高效率的并行训练、更快的训练速度、更低的内存消耗、更好的准确率、支持分布式可以处理海量数据等优点

沉住气CD·2024-01-12 05:46

梯度提升决策树（Gradient Boosting Decision Trees，GBDT）

梯度提升决策树（GradientBoostingDecisionTrees，GBDT）提升树是以分类树或回归树为基本分类器的提升方法。提升树被认为是统计学习中性能最好的方法之一。

孤嶋·2024-01-10 08:08

AI量化策略篇一：方向综述

方向循环神经网络(RNN)卷积神经网络(CNN)深度自回归网络（DeepAR）其他长短时记忆网络(LSTM)线性回归模型自回归模型（ARIMA,GARCH）随机森林（RandomForests）梯度提升决策树（GBDT

李小白杂货铺·2024-01-10 04:08

浅谈树模型与集成学习-从决策树到GBDT

引言神经网络模型，特别是深度神经网络模型，自AlexNet在ImagenetChallenge2012上的一鸣惊人，无疑是MachineLearningResearch上最靓的仔，各种进展和突破层出不穷，科学家工程师人人都爱它。机器学习研究发展至今，除了神经网络模型这种方法路径外，还存在许多大相径庭的方法路径，比如说贝叶斯算法、遗传算法、支持向量机等，这些经典算法在许多场景上也一直沿用。本

凹凸实验室·2024-01-08 21:02

工智能基础知识总结--什么是XGBoost

什么是XGBoostXGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进。

北航程序员小C·2024-01-08 12:13

推荐频道