XGboost 第17页

XGBoost学习（三）：模型详解

XGBoost学习（一）：原理XGBoost学习（二）：安装及介绍XGBoost学习（三）：模型详解XGBoost学习（四）：实战XGBoost学习（五）：参数调优XGBoost学习（六）：输出特征重要性以及筛选特征完整代码及其数据

安然烟火·2022-12-27 07:12

xgb的简单使用（特征选择，重要性图像绘制，分类，预测）

2016年，陈天奇在论文《XGBoost：AScalableTreeBoostingSystem》中正式提出该算法。

直方大·2022-12-27 07:12

Python降低XGBoost 过度拟合多种方法

之前已经讲过机器学习的XGBoost算法简介XGBoostfeatureimportance特征重要性-实战印第安人糖尿病数据集，今天来讲解xgboost过度拟合问题。

python机器学习建模·2022-12-27 03:33

roc评估logistic_模型评估常用指标

一、ROC曲线和AUC值在逻辑回归、随机森林、GBDT、XGBoost这些模型中，模型训练完成之后，每个样本都会获得对应的两个概率值，一个是样本为正样本的概率，一个是样本为负样本的概率。

weixin_39763683·2022-12-26 01:09

python 机器学习信息熵的计算

题目介绍：描述决策树是非常经典的机器学习模型，以决策树为基模型的集成学习模型（XGBoost、GBDT等）在工业界得到了极为广泛的应用。决策树有三种常见的启发式生成标准，信息增益就是其中之一。

数学是算法的灵魂·2022-12-26 01:02

推荐：数据竞赛的利器XGBoost的常见面试题

XGBoost的威名想必大家都有所耳闻，它不仅是数据科学竞赛神器，在工业界中也被广泛地使用。

风度78·2022-12-25 06:50

【推荐收藏】机器学习9种回归算法原理及实例的总结太详细了

在本文中，我们将通过使用Scikit-learn和XGBoost的动手实践来学习9种流行的回

2201_75499313·2022-12-25 06:45

天猫复购预测

思路：用LR的预测结果作为baseline;然后分别用XGBoost，LightGBM，CatBoost，DIN，NGBoost，K折xgb+lgb+catb模型融合进行训练并预测，与baseline效果对比

萌主¤小狸·2022-12-25 03:44

XGBoost算法浅述

极度梯度提升树XGBoost(xgb,eXtremeGradientBoosting)是boosting算法的一种实现方式，针对分类或回归问题都有非常好的效果，是横扫kaggle的王牌算法，其学习应用速度及运行速度都极其快速

一本糊涂张·2022-12-24 14:46

用BERT进行中文短文本分类

刚开始用了SVM、xgBoost效果都不是很好，群里有人说BERT的效果不错，于是自己赶鸭子上架，根据网上的文章，手动实践，赶在比赛结束前一天提交了结果，效果确实比传统机器学习模型要强得多，特记录一下详细步骤与程序

机巧堂堂主居十方·2022-12-24 14:19

Datawhale组队学习之集成学习——Task 6 Boosting

、Adaboost算法1、Adaboost基本原理2、使用sklearn对Adaboost算法进行建模三、前向分步算法四、梯度提升决策树(GBDT)1、基本原理2、使用sklearn来使用GBDT五、XGBoost

Codewith_jing·2022-12-24 14:08

【ML】随机森林(Random Forest) 从入门到放弃再到掌握

XGBoost对GBDT的提升LGB对XGB的提升Bagging随机森林简介随机森林构建python中使用随机森林为什么选决策树作为基分类器偏差和方差总结一下GBD

半九拾·2022-12-24 13:19

风控比赛第一弹

3.模型选择方面，LightGBM,Catboost,Xgboost都表现较好，前两者运行更快，且能自动处理类别特征，处理缺失值。由于是决

vitacode·2022-12-24 10:18

【机器学习】Adaboost、GBDT、XGBoost算法原理解析

GBDT和XGBoost《统计学习方法》与《机器学习》这两本书中都没有涉及，但是看别人在牛客网上的面经分享都有提到，其实这两个算法主要在竞赛中经常被用到，因此还是有必要了解一下。

秋天的波·2022-12-24 10:58

bagging和随机森林

随机理解2.3RF与bagging的比较2.4随机森林的特征重要性原理2.5RF优缺点2.6RF与GBDT的区别前言接下来会介绍一些基于决策树的具有代表性的集成模型，如随机森林（RF），GBDT，XGBoost

weixin_50304531·2022-12-24 08:07

XGBoost总结

1.算法原理XGBoost是boosting算法的其中一种。Boosting算法的思想是将许多弱分类器集成在一起形成一个强分类器。

happy5205205·2022-12-24 08:01

XGBoost 、逻辑回归、随机森林模型实战对比

目录引言一、数据的特征处理二、导入XGBoost模型三、使用其他模型于XGBoost进行对比引言在XGBoost基本原理博文中我们介绍了XGBoost的基本原理，本篇博文我们将介绍XGBoost的基本使用方法

温旧酒一壶~·2022-12-24 07:55

机器学习笔记28——Boosting方法之CatBoost算法原理及python实战

CatBoost和XGBoost、LightGBM并称为GBDT的三大主流神器，都是在

珞沫·2022-12-23 19:50

【机器学习】集成学习算法使用与对比（随机森林、GBDT、XGBoost、LightGBM等）

集成学习方法随机森林、GBDT、XGBoost、LightGBM的使用与对比importwarningswarnings.filterwarnings("ignore")importpandasaspdfromsklearn.model_selectionimporttrain_test_split

Python数据挖掘·2022-12-23 19:49

xgboost时间序列预测matlab,LightGBM和XGBoost实现时间序列预测(2019-04-02)

LightGBM是最近最常见的一类算法，在kaggle比赛中经常被用来做预测和回归，由于性能比较好有着“倚天剑”的称号，而XGBoost则被称为屠龙刀。

久立·2022-12-23 16:42

R语言应用xgboost进行机器学习（1）

XGBoost机器学习模型是一种高效且可扩的展的机器学习分类器，由Chen和Guestrin在2016年推广。

天桥下的卖艺者·2022-12-23 09:53

基于HOG、LBP完成特征工程，基于SVM/RF/XGBOOST/GBDT/CNN/DNN完成人脸识别+表情识别

在我之前的文章中写过很多关于人脸识别和表情识别的文章，今天有一个项目的需求就是需要做两种或者是多种任务，我在开发完对应的模型之后就突然想到了之前做过的人脸识别和表情识别的项目，就想着是否可以基于机器学习/深度学习等方式来同时实现人脸识别和表情识别呢？答案是可以的，基于深度学习的实现可以直接套用我项目上面开发的模型就可以实现了，但是基于机器学习的方式来实现我倒还没有想到特别好的办法，所以本文实现的方

Together_CZ·2022-12-23 06:12

机器学习—LightGBM的原理、优化以及优缺点

文章目录一、LightGBM简介1.LightGBM提出的动机2.XGBoost的缺点及LightGBM的优化2.1XGBoost的缺点2.2LightGBM的优化二、LightGBM的基本原理1、基于

哎呦-_-不错·2022-12-22 23:56

lightgbm原理_LightGBM算法原理小结

提升树是利用加法模型和前向分布算法实现学习的优化过程，它有一些高效的实现，如GBDT，XGBoost和pGBRT，其中GBDT是通过损失函数的负梯度拟合残差，XGBoost则是利用损失函数的二阶导展开式拟合残差

清宵月明·2022-12-22 22:24

XGBOOST的基本原理以及使用

XGBOOST的基本原理以及使用XGBOOST的基本原理XGBOOST的模型形式XGBOOST是boosting方法的一种加法模型，训练的时候采用前向分布算法进行贪婪学习，每次迭代都学习一颗CART树来拟合之前

simonchen198774·2022-12-22 22:54

lightGBM算法

lightGBM微软出品优点：对xgboost进行了优化训练速度非常快内存消耗非常低准确率非常高并发和支持GPU加速能直接处理缺失值能处理庞大体量的数据fit参数eval_set:在模型每次迭代时查看进行验证的分数

荼靡，·2022-12-22 22:53

LightGBM的基本原理以及使用

LightGBM的基本原理以及使用LightGBM的基本原理LightGBM是一款常用的GBDT工具包，由微软亚研院开发，速度比XGBoost快，精度稍低。

simonchen198774·2022-12-22 22:22

决策树、随机森林、bagging、boosting、Adaboost、GBDT、XGBoost总结

作者：ChrisCaohttps://zhuanlan.zhihu.com/p/75468124一.决策树决策树是一个有监督分类模型，本质是选择一个最大信息增益的特征值进行输的分割，直到达到结束条件或叶子节点纯度达到阈值。下图是决策树的一个示例图：根据分割指标和分割方法，可分为：ID3、C4.5、CART算法。1.ID3算法：以信息增益为准则来选择最优划分属性信息增益的计算是基于信息熵（度量样本集

欣一2002·2022-12-22 07:19

集成学习:随机森林/GBDT/XGBoost (学习笔记一)

知识点:随机森林提升算法GBDT(迭代决策树)AdaboostXGBoostStacking集成学习(EnsembleLearning)集成学习的思想就是将若干个学习器(分类器&回归器)组合之后产生一个新学习器

谨慎殷勤·2022-12-22 07:18

关于决策树、随机森林、GBDT、XGBoost、LightGBM的那些事

决策树在我们日常生活中，往往是需要根据各种因素来决定我们最后的选择。比如要去打篮球，就要看今天是什么天气、温度、湿度等因素。如下图所示，就是一棵典型的决策树。当一个问题：我们要不要打球产生在我们脑海中时，就会有某些因素，类似温度，湿度，最后来让我们决定结果是去打球还是不去打球。一棵决策树是由两个部分构成的：构造和剪枝。构造所谓的构造就是怎么生成一棵决策树。在这个过程中，会存在三种节点。1.根节点，

Hogan180·2022-12-22 07:18

树模型：决策树、随机森林（RF）、AdaBoost、GBDT、XGBoost、LightGBM和CatBoost算法区别及联系

一、算法提出时间1966年，决策树算法起源于E.B.Hunt等人提出。1979年，Quinlan（罗斯.昆兰）提出了ID3算法，掀起了决策树研究的高潮，让决策树成为机器学习主流算法。1993年，Quinlan（罗斯.昆兰）提出了C4.5算法。1995年，Freund等人提出AdaBoost算法。1999年，Friedman在其论文中最早提出GBDT。2001年，Breiman提出随机森林算法。20

渣渣zheng·2022-12-22 07:11

机器学习算法之集成学习：随机森林、GBDT、XGBoost（下）

梯度提升迭代决策树GBDTGBDT也是Boosting算法的一种，但是和AdaBoost算法不同；区别如下：AdaBoost算法是利用前一轮的弱学习器的误差来更新样本权重值，然后一轮一轮的迭代；GBDT也是迭代，但是GBDT要求弱学习器必须是CART模型，而且GBDT在模型训练的时候，是要求模型预测的样本损失尽可能的小。别名：GBT(GradientBoostingTree)、GTB(Gradie

Mr Robot·2022-12-22 07:06

机器学习--决策树、随机森林、GBDT、XGBoost

参考：机器学习的熵：机器学习各种熵：从入门到全面掌握-知乎(zhihu.com)交叉熵：交叉熵背后的直觉相对熵（KL散度）：相对熵（KL散度）为什么交叉熵（cross-entropy）可以用于计算代价？-知乎(zhihu.com)信息熵、条件熵、交叉熵、相对熵互信息什么是「互信息」-知乎(zhihu.com)信息增益信息增益表示得知特征的信息而使得类的信息不确定性减少的程度。信息增益是决策树ID3

jiangchao98·2022-12-22 07:34

【机器学习】随机森林、GBDT、XGBoost、LightGBM等集成学习代码练习

本文是中国大学慕课《机器学习》的“集成学习”章节的课后代码。课程地址：https://www.icourse163.org/course/WZU-1464096179课程完整代码：https://github.com/fengdu78/WZU-machine-learning-course代码修改并注释：黄海广，[email protected] warningswarni

风度78·2022-12-22 07:03

简述决策树，随机森林和XGBOOST之间的关系

原文链接：https://www.it610.com/article/1281962579127713792.htm简述决策树，随机森林和XGBOOST之间的关系本文主要讲解：决策树，随机森林和xgboost

ch206265·2022-12-22 07:02

ML:随机森林、GBDT、XGBoost

RF、GBDT、XGBoost都属于集成学习。通过结合多个基学习器都预测结果来改善单个学习器的泛化能力。集成学习分为两大类：boosting：个体学习器之间存在强依赖关系、必须串行生成的序列化方法。

ShellDawn·2022-12-22 07:32

集成学习：决策树、随机森林、GBDT、XGBoost

1.引入1.1决策树为达到目标根据一定的条件进行选择的过程，就是决策树，决策树模型非常经典，在机器学习中常被用于分类，构成它的元素是节点和边，节点会根据样本的特征做出判断，最初的分支点被称为根节点，其余成为子节点，没有分支的点是叶子节点，代表分类结果。决策树的衡量标准是熵。在热力学中，熵被用来描述一个系统内在的混乱程度；在决策树中，熵代表是分支下样本种类的丰富性，样本种类越多越混乱，熵就越大。如果

人工智能之浪潮·2022-12-22 07:29

Datawhale时间序列挖掘学习资金流入流出预测（四）之特征工程

特征构建（1）离散型特征（特征编码）可用于设计规则易于拟合模型，比如xgboost，lightgbm，catboost都以决策树为基模型便于理解便于做特征组

Sunburst.·2022-12-22 00:59

成功解决StandardScaler().fit()报错ValueError: Expected 2D array, got 1D array instead

错误信息在训练一个Xgboost模型时，使用StandardScaler().fit()对数据进行处理，代码如下：scaler.fit(list(train[col])+list(test[col]))

AnnnnnJie·2022-12-21 15:21

【机器学习】九种顶流回归算法及实例总结

在本文中，将通过使用Scikit-learn和XGBoost的动手练习来学习9种流行的回归算法。本文的结构如下：写在前面本次数据使用的是一个藏在Python第三方v

风度78·2022-12-21 09:32

python金融风控评分卡模型和数据分析(加强版)

逻辑回归评分卡/catboost/xgboost/lightgbm/等模型用python一次全部搞定！增加数据分析和数据可视化实战，由易到难，带你从菜鸟轻松晋级kaggle级建模高手。

python机器学习建模·2022-12-21 08:37

kaggle @房价预测 XGBoosts 机器学习

1.导入各种包importtensorflowastffromtensorflow.kerasimportSequential,layersimportkerasimportnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltimportseabornassnsfromscipy.statsimportnormfromscipyimportst

77‘ Learning·2022-12-21 07:09

机器学习 Kaggle 房价预测比赛 Ensemble Generation

ｗww.cnblogs.com/massquantity/p/8640991.html前言：\quad至今已经做了一些数据清洗，特征提取这些特征工程相关的东西，同时在房价预测项目中也使用了随机深林，SVR，线性分类器，Xgboost

just_sort·2022-12-20 18:37

【文本分类】常见文本分类深度学习模型汇总

之前，文本分类任务的常见pipeline为：（1）人工/半自动特征抽取：包括one-hot编码、countfeatures、TF-IDF、词性/句法信息等等（2）分类器的构造：包括LR、NB、SVM、Xgboost

guofei_fly·2022-12-20 18:07

机器学习（二）：基于XGBoost的分类与预测

XGBoost介绍xgboost的安装、参数说明XGBoost是2016年由华盛顿大学陈天奇老师带领开发的一个可扩展机器学习系统。

小黄油块跑·2022-12-20 14:30

【机器学习】基于天气数据集的XGBoost分类与预测

目录一、学习知识点概要二、学习内容代码1.导入库2.对离散变量进行编码3.利用XGBoost进行训练与测试4.利用XGBoost进行特征选择5.模型调参三、学习问题与解答四、学习思考与总结一、学习知识点概要首先

elif:·2022-12-20 14:00

XGboost预测

importpandasaspdimportmatplotlib.pyplotaspltimportmathimportxgboost_regressionimportnumpyasnpfromnumpyimportloadtxtfromxgboostimportXGBClassifierfromsklearn.model_selectionimporttrain_test_splitfromsk

Sandy_Sandy_yuan·2022-12-20 14:27

基于XGBoost的分类预测

一.学习知识点概要1.1XGBoost的介绍优点1.简单易用。相对其他机器学习库，用户可以轻松使用XGBoost并获得相当不错的效果。2.高效可扩展。

happiless·2022-12-20 14:55

用 XGBoost 进行时间序列预测

XGBoost是梯度分类和回归问题的有效实现。它既快速又高效，即使在各种预测建模任务上也表现出色，即使不是最好的，也能在数据科学竞赛的获胜者（例如Kaggle的获奖者）中广受青睐。

Python中文社区·2022-12-20 14:54

XGBoost的基本使用应用&Kaggle便利店销量预测

XGBoost的基本使用应用导入XGBoost等相关包：fromnumpyimportloadtxtfromxgboostimportXGBClassifierfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportaccuracy_score

Grateful_Dead424·2022-12-20 14:54

推荐频道

XGboost