XGB

2017.07.27回顾 ET和RT比较 高级切片 argsort barplot(yerr=) xgb.plot_importance

1、一到办公室写了上一日的小结2、昨天帮同事拉进白名单，就只能顺带更新了channelrollingvariable，运行良好3、看了下ExtraRandomizedTrees和randomForest的文档，随机森林是有放回的抽样，样本数等于原始样本数，特征数随机子集，结果回归用average，分类用voting（但是sklearn的实现是对probability的average），ExtraR
strwolf·2020-08-24 16:37

关于xgboost中feature_importances_和xgb.plot_importance不匹配的问题。

model.feature_importances_是和原训练集中的列名相对应的！！！我一直从直觉上就这么觉得，因为如果不对应的话，那要怎么排列呢？1.model.feature_importancesim=pd.DataFrame({'importance':model.feature_importances_,'var':data4.columns[:-1]})im=im.sort_value
SourcePlan·2020-08-24 15:14

【小白学AI】XGBoost推导详解与牛顿法

文章来自微信公众号：【机器学习炼丹术】目录1作者前言2树模型概述3XGBvsGBDT3.1区别1：自带正则项3.2区别2：有二阶导数信息3.3区别3：列抽样4XGB为什么用二阶导4.1为什么减少了计算量
忽逢桃林·2020-08-24 04:00

xgboost

推到xgb：http://www.52cs.org/?
weixin_33851177·2020-08-23 23:27

MNIST2_LGB_XGB训练预测

针对MNIST数据集进行XGB\LGB模型训练和预测部分脚本如下：完整脚本见笔者githublgb_param={'boosting':'gbdt','num_iterations':145,'num_threads
Scc_hy·2020-08-23 15:26

特征工程（科大讯飞阿泽大佬share）

降低算法用错误数据建模的风险特征变换：模型无法处理或者不适合处理a)定性变量编码：LabelEncoder；onehotencoder;distributionEncoderb)标准化和归一化（对于lr模型来说，但是xgb
佛系·2020-08-22 14:09

boost集成模型

boost集成模型简述：常用集成树模型有随机森林、gbdt、xgb、lgb；bagging随机森林很简单，随机取特征和样本，不容易过拟合，不做介绍。
liwenbo_csu·2020-08-21 19:35

加载模型文件后，进行predict时报错feature_names not match

比如训练好一个xgboost模型，我们通过joblib来保存模型文件：importjoblibjoblib.dump('xgb_model.pkl')那我们下次再加载模型，进行预测的时候model=joblib.load
小白白白又白cdllp·2020-08-20 19:40

【小白学AI】XGBoost 推导详解与牛顿法

1作者前言在2020年还在整理XGB的算法，其实已经有点过时了。不过，主要是为了扩大知识面和应付面试嘛。现在的大数据竞赛，XGB基本上已经全面被LGB模型取代了，这里主要是学习一下Boost算法。
机器学习炼丹术·2020-08-20 17:51

【小白学AI】XGBoost 推导详解与牛顿法

1作者前言在2020年还在整理XGB的算法，其实已经有点过时了。不过，主要是为了扩大知识面和应付面试嘛。现在的大数据竞赛，XGB基本上已经全面被LGB模型取代了，这里主要是学习一下Boost算法。
机器学习炼丹术·2020-08-20 17:51

机器学习面试问题总结

1lightgbm,xgboostRF和GBDT的异同（这个问题属于必问问题，对于ID3,C4.5,CART也要了解，对于xgb的算法原理要充分理解，比如损失函数的推导过程，为什么要使用二阶泰勒展开。
sunlanchang·2020-08-19 04:38

Python中保存和重载已建好的模型

保存：如果我们想保存不同参数下的xgboost模型以供之后重载使用，且我们将已建好的一个xgb模型命名为model,我们可以直接使用:model.save_model('0001.model')或者使用
起个名字好难.JPG·2020-08-19 02:24

（二）XGBoost之DART booster

——DARTbooster（解决过度拟合问题）importxgboostasxgb#读数据dtrain=xgb.DMatrix('xxx/xg
HawardScut·2020-08-17 22:58

基于不同分类器的boosting算法实现

最近在做多分类器的集成（ensemble），主要有bagging和boosting，这篇文章主要讲的是分类，采用的分类器属于强分类器，有随机森林（RandomForestClassifier）、xgb（
jin__9981·2020-08-17 12:52

XGB数据公式

前言XGBoost跟GBDT是两种应用非常广泛的树模型,之前在几种最优化方法对比中,简单回顾了一下几种常见的最优化方法,算是对这篇内容的简单铺垫.形象地来说,XGBoost与GBDT都是基于Boost方法的树模型,是类似的算法模型,都是函数优化问题.二者最根本的区别就在于最优化的方法不同,GBDT在函数空间中利用梯度下降法进行优化,而XGBoost在函数空间中用牛顿法进行优化同时XGBoost有一
海鸥-号·2020-08-16 00:30

xgboost 保存模型和特征重要度

1.保存模型：（1）保存：bst.save_model('0001.model')（2）加载模型：bst_new=xgb.Booster({'nthread':4})#initmodelbst_new.load_model
远古小山·2020-08-14 05:09

xgb模型的参数,归一化

这里要重点讲一下Xgboost的调参。通常认为对它性能影响较大的参数有：eta：每次迭代完成后更新权重时的步长。越小训练越慢。num_round：总共迭代的次数。subsample：训练每棵树时用来训练的数据占全部的比例。用于防止Overfitting。colsample_bytree：训练每棵树时用来训练的特征的比例，类似RandomForestClassifier的max_features。m
huizxhhui1994·2020-08-13 14:57

XGBOOST_航班延误预测

对于GBDT和XGB
松鼠MaSaKi·2020-08-10 20:09

（三）XGBoost数据接口

DMatrix(train.csv是文件名，第0列是lable)#label_columnspecifiestheindexofthecolumncontainingthetruelabeldtrain=xgb.DMatrix
HawardScut·2020-08-10 16:31

【小白学AI】XGBoost 推导详解与牛顿法

1作者前言在2020年还在整理XGB的算法，其实已经有点过时了。不过，主要是为了扩大知识面和应付面试嘛。现在的大数据竞赛，XGB基本上已经全面被LGB模型取代了，这里主要是学习一下Boost算法。
机器学习炼丹术·2020-08-10 15:43

【小白学AI】XGBoost 推导详解与牛顿法

目录1作者前言2树模型概述3XGBvsGBDT3.1区别1：自带正则项3.2区别2：有二阶导数信息3.3区别3：列抽样4XGB为什么用二阶导4.1为什么减少了计算量4.2为什么加快收敛速度5牛顿法1作者前言在
忽逢桃林·2020-08-10 05:00

python - 机器学习lightgbm相关实践

python︱XGBoost极端梯度上升以及forecastxgb（预测）+xgboost（回归）双案例解读python︱sklearn一些小技巧的记录（训练集划分/pipelline/交叉验证等）GBDT一个藤上，进化的xgb
悟乙己·2020-08-08 21:25

关于树模型一些问题的思考--从决策树一直到XGB

首先是ID3，C4.5与CART树的区别：1、分特征基点不同，以及对应造成的特性：前两者基于熵条件熵信息增益（ID3）缺点：信息增益偏向取值较多的特征原因：当特征的取值较多时，根据此特征划分更容易得到纯度更高的子集，因此划分之后的熵更低，由于划分前的熵是一定的，因此信息增益更大，因此信息增益比较偏向取值较多的特征。信息增益比（C4.5）其中的HA(D)H_A(D)HA(D)，对于样本集合DDD，将
546034381·2020-08-07 10:39

Catboosting实现美国人口收入预计

请见谅，学校某课程的大作业，要求美国人口收入预计准确率尽可能的高，测试集准确率达到了87.69，这里的准确率是我调节了参数，代码中的参数并不能得出这个准确率，但是也超过了百分之87，这是我对比了GBDT和XGB
Chauvinistic_Jonatha·2020-08-06 13:26

某团top频率面试题整理

gbdt，xgb原理，区别，xgb做了哪些优化GBDT的原理（基本思路）：梯度提升决策树，是一种迭代的决策树算法，通过构造多棵决策树，并将决策树的结果累加起来作为最终的预测输出。
sjz_hahalala479·2020-08-05 22:27

机器学习算法-模型融合和提升算法

/www.nowcoder.com/tutorial/95/1febc9ddb91f46098f7341b05831db692XGBoost和GDBT的区别GDBT在函数空间中利用梯度下降法进行优化而XGB
368chen·2020-08-04 16:13

Xgboost可视化中文乱码问题

Xgboost可视化中文乱码问题Xgboost生成png图片方法搜索资料查到的信息：代码修改Xgboost生成png图片方法#xgb训练好的模型，num_trees获取第1个数的可视化结果digraph
OnlyLove_longshao·2020-08-04 12:25

sklearn与XGBoost

菜菜的scikit-learn课堂——sklearn与XGBoost文章目录1.XGBoost简介1.1xgboost库与XGB的sklearnAPI1.2XGBoost的三大板块2梯度提升树2.1提升集成算法
卖山楂啦prss·2020-08-03 03:52

GBDT、Xgb、Lgb对比以及常见面试题

GBDT、Xgb、Lgb对比以及常见面试题GBDT特点残差正则化Xgb特点正则化Lgb常见面试题RF与GBDT之间的区别GBDT训练时长GBDT并行部分Xgb与GBDT的区别Lgb与Xgb的区别之前写了一点
Sigyc·2020-08-03 00:09

[svm]四步推导SVM

总之是平时是调包侠一个，忽略了算法原理，趁着秋招，恶补一波算法推导(doge)：LS的优化，SVM，DNN，K-means（课题用到的和即将用到的），xgb,lgb（比赛用到的），模型融合原理。SVM
安琪拉的小迷妹·2020-08-01 08:47

python模型转PMML

关于python模型的部署，目前有以下几种方式flask等python为服务框架，无需跨语言xgb4j,lgb4j等Java包，需跨语言，但只支持xgb/lgbPMML，跨语言，支持所有sklearn接口的模型综上所述
slibra_L·2020-07-30 20:01

python训练模型上线问题总结

格式使用java自带的Runtime.getRuntime().exec(args);方法直接调用python脚本PMML格式1、首先将python代码训练的模型保存为pmml格式，代码如下model=xgb.XGBClassifier
Dreamcatcher5·2020-07-30 20:19

windows下Xgboost算法包的安装

以前在安装xgb算法包时，看了网上很多篇教程都没有成功，但最后还是找到了解决方法，恰好最近在整理笔记就与大家分享一下：安装成功得益于如下网站下载的一个xgboost安装包的whl文件：https://www.lfd.uci.edu
数据小白的进阶之路·2020-07-30 03:42

Task3 XGB算法梳理

文章目录Task3XGB算法梳理1.算法原理2.损失函数3.分裂结点算法4.正则化5.对缺失值处理6.优缺点7.应用场景8.sklearn参数9.xgboost与传统GBDT的区别与联系Task3XGB
AI_100·2020-07-29 21:40

XGBoost与LightGBM学习笔记

xgboost原理推导：文档参考一视频参考一视频参考二看了推导可以知道，xgb用了泰勒展开二阶导简化目标函数，但是实际在求目标函数级小值时，仍使用了通用公式，一阶导数。
ODIMAYA·2020-07-29 16:17

onehot的transform方法输出矩阵为numpy的稀疏矩阵

xgb_enc_1=OneHotEncoder()xgb_enc_2=OneHotEncoder()xgb_enc_1.fit(model_1.apply(train_gb))xgb_enc_2.fit
ODIMAYA·2020-07-29 16:17

基于R语言的Kaggle案例分析学习笔记（五）

药店销量预测本案例大纲：1、xgboost理论介绍2、R语言中xgboost相关函数的参数3、案例背景4、数据预处理5、R语言的xgb模型实现代码1、xgboost理论介绍这部分我直接把一些牛人写的关于
yyxyyx10·2020-07-29 02:11

打好天池比赛的步骤

如何在比赛中取得好成绩并成为大牛：会基本知识掌握学习方法用于实践多与人交流参与天池比赛需要会的基础知识xgb,lgb,catboost,numpy，matplotlib，seaborn，sklearn，
仓小鼠·2020-07-28 23:55

解决reg:linear is now 和 Series.base is deprecated and will be removed in a future version报错信息

importpandasaspdimportxgboostasxgbdf=pd.DataFrame({'x':[1,2,3],'y':[10,20,30]})X_train=df.drop('y',axis=1)Y_train=df['y']xg_reg=xgb.XGBRegress
葑歆·2020-07-28 22:38

硬核 | 一篇文章搞定GBDT、Xgboost和LightGBM的面试「AI面试论」

关注：决策智能与机器学习，深耕AI脱水干货作者|丢丢来源|知乎文章地址|https://zhuanlan.zhihu.com/p/148050748GBDT和XGB基本上是机器学习面试里面的必考题。
九三智能控v·2020-07-28 15:54

Xgboost的一些坑

大部分的问题都在这个函数里dtrain=xgb.DMatrix('train.txt')dtest=xgb.DMatrix('test.txt')会出现各种莫名其妙的错误，我调了发现了有些神器的事情是，
shincling·2020-07-28 11:28

机器学习-lgb

2.2xgb的缺点：每次迭代都要遍历数据很多次：预排序法：要保存数据的特征值以及特征排序的结果；遍历每一个分割点的时
368chen·2020-07-28 05:30

一文搞定 GBDT、Xgboost 和 LightGBM 的面试

来自|知乎作者|丢丢链接|https://zhuanlan.zhihu.com/p/148050748编辑|AI有道本文经作者授权发布，禁二次转载GBDT和XGB基本上是机器学习面试里面的必考题。
视学算法·2020-07-27 14:42

xgBoost运行过程中出现的问题

DMatrix'objecthasnoattribute'handle'的问题，在网上搜索了一波，大致有两个原因：1.文件名与python的保留字、关键字重名2.DMatrix里面的数据初始化有问题，我的问题主要出现在这里，代码如下：xgbtrain=xgb.DMatrix
blankbeads·2020-07-15 20:38

Xgboost如何画出树？

一、训练一个简单的Xgb模型我们先训练一个Xgb模型。
anshuai_aw1·2020-07-15 20:40

XGBoost 模型保存，读取

pythonimportnumpyasnpimportscipy.sparseimportpickleimportxgboostasxgb###simpleexample#loadfilefromtextfile,alsobinarybuffergeneratedbyxgboostdtrain=xgb.DMa
SZU_Hadooper·2020-07-15 18:45

决策树算法之 AdaBoost

这种思想也被称为Boost，除AdaBoost外，GBDT和XGB
程序员在深圳·2020-07-15 15:39

【机器学习】分类器调参：什么是Grid Search 网格搜索？

PLAN1MajorityClassLabels(Majority/HardVoting)事先准备三个模型，xgb和rf模型都已经通过cross_validation找出了较好的参数>>>fromxgboost.sklearnimportXGBClassifier
计科小白兔·2020-07-15 13:20

Xgboost算法原理详解及python实现

Xgboost算法（回归树）1、算法原理2、对数据的要求（无需规范化）3、算法的优缺点4、XGB、GBDT、LR与RF5、python代码实现导入相关包读取数据并预处理训练贝叶斯初步优化网格搜索调参（一般调参顺序
ecnu_frc_new·2020-07-15 07:54

i++ 线程不安全示例详解

一个线程不安全的计数器packagecom.thread.xgb;publicclassUnsafeCounter{publicintcount=0;publicvoidadd(){count++;}publicintget
许大侠0610·2020-07-13 15:44
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他