CatBoost

从结构到性能，一文概述XGBoost、Light GBM和CatBoost的同与不同

本文从算法结构差异、每个算法的分类变量时的处理、算法在数据集上的实现等多个方面对3种代表性的boosting算法CatBoost、LightGBM和XGBoost进行了对比；虽然本文结论依据于特定的数据集
linxid·2020-08-19 02:27

【论文笔记】CatBoost: unbiased boosting with categorical features

原论文地址：here，本文主要记录论文中重要的部分。1.AbstractCatBoost中最主要的两个算法性的特点在于：实现了有序提升，排列驱动以代替经典算法；一种新颖的算法处理分类变量。这些方法旨在解决predictionshift（普遍存在于梯度提升算法中）。2.Introduction所有现存的梯度提升算法都存在统计学上的问题。经过多次提升的预测模型FFF依赖于训练样本的目标变量的。我们论证
forever_24·2020-08-18 09:50

2019移动广告反欺诈算法挑战赛之一些奇妙的idea

然后呢分享一下其他几个人的想法，看完感觉不错的话点个赞呗，哈哈哈哈哈哈思路一：处理长尾对于类别特征处理一下长尾特征(也即是把makemodelver这些特征中仅仅出现次数少于20次的数据归为一类)，因为catboost
YYLin-AI·2020-08-04 17:02

数学推导+纯Python实现机器学习算法19：CatBoost

Python机器学习算法实现Author：louwillMachineLearningLab本文介绍GBDT系列的最后一个强大的工程实现模型——CatBoost。
louwill12·2020-08-03 07:29

ML-集成学习：AdaBoost、Bagging、随机森林、Stacking(mlxtend)、GBDT、XGBoost、LightGBM、CatBoost原理推导及实现

目录1.名称简介2.设计集成原则3.集成学习算法分类4.Boosting4.1基本流程4.2Adaboost实现4.2.1.分类4.2.2.回归4.2.3Adaboost的正则化4.2.4Adaboost小结5.Bagging5.1基本流程6.随机深林RandomForest6.1基本流程7.Stacking8.GBDT8.1GBDT回归8.2GBDT分类二分类多分类9.XGBoost1）定义结构
jj_千寻·2020-08-02 16:43

Task4 LightGBM算法梳理

LightGBM的起源3.HistogramVSpre-sorted4.leaf-wiseVSlevel-wise5.特征并行和数据并行6.顺序访问梯度7.支持类别特征8.应用场景9.LightGBM参数10.CatBoost
AI_100·2020-07-29 21:40

Predict Future Sales（时间序列）——Kaggle银牌（TOP 4%）基础方案（四）：单模预测及模型融合

一般认为CatBoost有如下优点：它自动采用特殊的方式处理类别型特征（categoricalf
贝壳er·2020-07-28 23:29

打好天池比赛的步骤

如何在比赛中取得好成绩并成为大牛：会基本知识掌握学习方法用于实践多与人交流参与天池比赛需要会的基础知识xgb,lgb,catboost,numpy，matplotlib，seaborn，sklearn，
仓小鼠·2020-07-28 23:55

GBDT,XGboost,Lightgbm,Catboost总结

mark一下，感谢作者分享！一、DBDT分裂GBDT使用的决策树就是CART回归树，无论是处理回归问题还是二分类以及多分类，GBDT使用的决策树自始至终都是CART回归树。对于回归树算法来说最主要的是寻找最佳的划分点，那么回归树中的可划分点包含了所有特征的所有可取的值。在分类树中最佳划分点的判别标准是熵或者基尼系数，都是用纯度来衡量的，但是在回归树中的样本标签也是连续数值，所以再使用熵之类的指标不
法相·2020-07-28 20:34

决策树、随机森林、GBDT、xgboost、lightgbm、CatBoost相关分析

基础一切树模型的都是基于特征空间划分的条件概率分布，都具有方差大的特性，对量纲无要求，所以我们先介绍几种条件概率公式：一,条件概率二,全概率三,贝叶斯1.决策树递归树，它将特征空间划分为互不相交的单元。递归划分特征，生成多个if-then的规则，每条规则对应一个从根节点到叶子节点的条件概率分布单元，该单元由总的条件概率分布计算得来，表示给定特征条件下的不同类别的概率分布。特征划分（分裂）算法包括I
ljtyxl·2020-07-28 14:28

GBDT、Xgboost、Lightgbm、Catboost论文

树模型论文汇总1、GBDT，Xgboost对比https://wenku.baidu.com/view/f3da60b4951ea76e58fafab069dc5022aaea463e.html2、Xgboosthttps://arxiv.org/pdf/1603.02754.pdf3、Lightgbmhttp://papers.nips.cc/paper/6907-lightgbm-a-high
winner8881·2020-07-28 05:31

数据挖掘竞赛预测模型——五折交叉验证

使用catboost进行五折交叉验证importnumpyasnpimportpandasaspdimportcatboostascbtfromsklearn.metricimportf1_scorefromsklearn.model_selectionimporttrain_test_splitfromsklearn.model_selectionimportStratifiedKFoldtra
o0xgw0o·2020-07-11 14:22

机器学习之决策树算法：XGBoost、LightGBM和CatBoost

参考原文：从结构到性能，一文概述XGBoost、LightGBM和CatBoost的同与不同决策树模型，XGBoost，LightGBM和CatBoost模型可视化XGBoost、LightGBM和CatBoost1
zhw864680355·2020-07-09 06:10

住房月租金预测大数据赛个人总结

baseline（xgboost模型）原始特征丢弃尝试根据有序特征进行聚类，构造无监督特征rank-encoding/mean-encoding依据领域知识构建特征：特征选择catboost模型调参模型融合
clever_egg·2020-07-08 20:19

anaconda下载catboost

一、出现的问题首先在anaconda终端输入以下命令：condainstallcatboost后来还是发生了报错：Collectingpackagemetadata(current_repodata.json):failedCondaHTTPError:HTTP000CONNECTIONFAILEDforurlElapsed:-AnHTTPerroroccurredwhentryingtoretr
Tiger歌儿·2020-07-07 22:53

【机器学习】树类模型总结

目录前言决策树算法Bagging——RFBoosting——GBDT、XGBOOST、LIGHTGBM、CATBOOST前言想对自己所学的东西进行一个总结。
ysq96·2020-07-06 11:27

机器学习分类算法汇总

使用了机器学习的主要分类算法，包括xgboost，lightgbm，catboost等等。同时实现了stacking方法。
COST_97·2020-07-04 04:58

深入理解CatBoost

我的个人微信公众号：Microstrong微信公众号ID：MicrostrongAI微信公众号介绍：Microstrong(小强)同学主要研究机器学习、深度学习、计算机视觉、智能对话系统相关内容，分享在学习过程中的读书笔记！期待您的关注，欢迎一起学习交流进步！我的知乎主页：https://www.zhihu.com/people/MicrostrongAI/activitiesGithub：htt
Microstrong0305·2020-07-02 14:23

MNIST & CatBoost保存模型并预测

安装pipinstallcatboost数据集分类：MNIST（60000条数据784个特征），已上传CSDN代码importrandomimportnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltfromcatboostimportCatBoostClassifierfromsklearn.model_selectionimporttra
XerCis·2020-07-02 09:33

CatBoost 模型中标称特征的处理

CatBoost的论文提到，后者可以在训练时间方面更有效地实现，并且在CatBoost中实现了这种方式。根据标签转化成数字
Sylvester_·2020-07-02 07:13

catBoost 神器的学习笔记

catBoost神器的学习笔记，记录自己看原文章的心得。第一次发文，中间有些部分也是个人理解，不足之处，敬请谅解。
kaikaixinxinxin·2020-07-02 06:51

模型融合---CatBoost总结

一、Catboost简介全称：GradientBoosting(梯度提升)+CategoricalFeatures(类别型特征)作者：俄罗斯的搜索巨头Yandex官方地址论文链接|项目地址文档地址视频二
dili8870·2020-07-01 22:24

一文详尽解释CatBoost

CatBoostCatBoost是俄罗斯的搜索巨头Yandex在2017年开源的机器学习库，也是Boosting族算法的一种，同前面介绍过的XGBoost和LightGBM类似，依然是在GBDT算法框架下的一种改进实现，是一种基于对称决策树（oblivioustrees）算法的参数少、支持类别型变量和高准确性的GBDT框架，主要说解决的痛点是高效合理地处理类别型特征，这个从它的名字就可以看得出来，
文文学霸·2020-07-01 16:54

[学习笔记]机器学习——算法及模型（六）：Catboost

Catboost原论文笔记及操作实例一、Catboost是什么？
大小姐的机器人·2020-07-01 06:10

CatBoost官方教程：调参

CatBoost官方教程：调参本文翻译至官方原文：https://catboost.ai/docs/concepts/parameter-tuning.htmlCatBoost为参数调整提供了灵活的界面
落叶阳光·2020-06-30 00:34

CatBoost算法和调参

欢迎关注博主主页，学习python视频资源sklearn实战-乳腺癌细胞数据挖掘（博主亲自录制视频）https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share#-*-coding:utf
weixin_33881140·2020-06-28 07:40

“添翼杯”人工智能创新应用大赛垃圾分类之模型部分

比赛有点遗憾的是没有把所有的单独模型都尝试一边，比较一下效果，第二使用融合模型的时候效果不好，但是没有时间检查，第三没有尝试使用lgb或者catboost对得到的图像特征进行分类。
YYLin-AI·2020-06-25 21:18

SVM，GBM使用CUDA加速

环境：ubuntu18.04(64bits)CUDA:10.1Python3:3.6.9scikit-learn提供了基于svm的相关函数，用于处理分类与回归任务；xgboost、lightgbm、catboost
落叶_小唱·2020-06-24 18:39

Catboost参数全集

CatBoost英文官网地址：https://catboost.ai/docs/concepts/python-reference_parameters-list.htmlTrainingparametersPythonpackagetrainingparametersSeveralparametershavealiases.Forexample
Chain .·2020-06-24 15:06

决策树模型，XGBoost，LightGBM和CatBoost模型可视化

决策树模型，XGBoost，LightGBM和CatBoost模型可视化安装graphviz参考文档http://graphviz.readthedocs.io/en/stable/manual.html
Sylvester_·2020-06-24 02:39

聊聊XGBoost CatBoost LightGBM RF GBDT

树增强在机器学习算法中广泛应用。陈天奇提出了XGBoost，它是一种分布式机器学习系统，该系统能够纵向扩展树增强算法。XGBoost主要优势在于快速的并行构建树，并且同时具有容错性。XGBoost在单节点可以处理上千万的样本，通过分布式计算可以处理超过十亿级别的样本。XGBoost的主要贡献在于提出了一种基于块数据的方式来加速树的构建，同时利用内存和外部存储；提出了一种树搜索的分布式近似算法；构建
frank_hetest·2020-06-23 14:31

从xgboost, lightgbm 到catboost

CSDNxgboost目标函数Objt=∑j=1T(Gjwj+12(Hj+λ)wj2)Obj^t=\sum_{j=1}^T(G_jw_j+\frac12(H_j+\lambda)w_j^2)Objt=j=1∑T(Gjwj+21(Hj+λ)wj2)对于每个叶子节点，由最值公式可知：wj∗=−GjHj+λw_j^*=-\frac{G_j}{H_j+\lambda}wj∗=−Hj+λGj目标函数变为Ob
chencas·2020-04-02 16:38

机器学习中的信息熵，交叉熵，相对熵（KL散度是什么），基尼不纯度

其实目前随着算法越来越牛，调用的方式越来越友好，包括sklearn,xgboost,catboost似乎我们已经不需要知道算法是什么，直接用就好了，然而个人还是觉得，应该对机器学习的概念很了解，至少面试的时候会问的吧
数据小新手·2020-03-16 00:31

快速掌握CatBoost基本用法

简介CatBoost是一款高性能机器学习开源库，基于GBDT，由俄罗斯搜索巨头Yandex在2017年开源。
XerCis·2020-02-28 15:26

主流Gradient Boosting算法对比

近些年来XGBoost、LightGBM以及CatBoost在Kaggle等竞赛中大放异彩，充分证明了Gr
OPPO互联网技术·2019-12-24 10:06

一文详尽系列之CatBoost

点击上方“Datawhale”，选择“星标”公众号第一时间获取价值内容CatBoostCatBoost是俄罗斯的搜索巨头Yandex在2017年开源的机器学习库，也是Boosting族算法的一种，同前面介绍过的XGBoost和LightGBM类似，依然是在GBDT算法框架下的一种改进实现，是一种基于对称决策树（oblivioustrees）算法的参数少、支持类别型变量和高准确性的GBDT框架，主要
Datawhale·2019-11-21 17:00

竞赛相关

Kaggle新手入门之路(完结)Kaggle官网kaggleword-vectors转载一篇别人kaggle的经验分享安装catboost的正确方式
LoveSkye·2019-11-09 14:01

安装 catboost 的正确方式

condaconfig--addchannelsconda-forge安装CatBoost:condainstallcatboost安装visualization工具:InstalltheipywidgetsPythonpackage
pertain99·2019-09-02 11:28

CatBoost论文笔记

CatBoost:gradientboostingwithcategoricalfeaturessupport（有类别属性支持的梯度提升）→原文链接Abstract我们提出的Catboost算法很6，开源
投篮不准的程序员不是一个好车手·2019-08-25 22:09

机器学习进阶之（六）CatBoost

机器学习进阶之（六）CatBoost1.CatBoost简介俄罗斯人提出了CatBoost，这个算法在其论文中与GBDTS算法对比，注意，这里的GBDT算法不是简单的GBDT算法，而是作者将GBDT与XGBoost
Merlin17Crystal33·2019-08-18 03:37

CatBoost的Python与R实现

作者：徐静AI图像算法研发工程师博客：https://dataxujing.github.io/GitHub:https://github.com/DataXujingCatBoost(CategoricalBoosting)算法是一种类似于XGBoost,LightGBM的GradientBoosting算法，其算法创新主要有两个：一个是对于离散特征值的处理，采用了orderedTS(targe
R语言中文社区·2019-07-23 11:00

大战三回合：XGBoost、LightGBM和Catboost一决高低 | 程序员硬核算法评测

作者|LAVANYA译者|陆离责编|Jane出品|AI科技大本营（ID:rgznai100）【导读】XGBoost、LightGBM和Catboost是三个基于GBDT（GradientBoostingDecisionTree
AI科技大本营·2019-07-06 19:55

树模型集成学习(Tree Embedding)

树模型的集成模型都是使用树作为基模型，最常用的cart树，常见的集成模型有RandomForest、GBDT、Xgboost、Lightgbm、Catboost。
Datawhale·2019-06-16 20:02

树模型集成学习(Tree Embedding)

树模型的集成模型都是使用树作为基模型，最常用的cart树，常见的集成模型有RandomForest、GBDT、Xgboost、Lightgbm、Catboost。
Datawhale·2019-06-16 20:02

慧安金科机器学习通识（三）| GBDT类算法原理简介

GBDT，英文全称为“GradientBoostDecisionTree”，翻译为梯度提升树，这类算法是有监督业务的核心，主要包括XGBoost、LightGBM和CatBoost等。
慧安金科·2019-05-10 16:25

CatBoost

文章目录1.CatBoost是什么？2.CatBoost有哪些优点？3.CatBoost实例展示4.参考1.CatBoost是什么？
dzysunshine·2019-05-09 15:38

深度学习理论与实践，提高篇目录

不过我认为这本书还缺一些知识讲解，比如计算机视觉缺了one-stage检测算法第6章中缺了catboost和lightgbm等梯度提升树方法当然一本面面俱到的书是没有的，这本
深度学习模型优化·2019-04-23 09:35

【零散知识】CatBoost的简单了解

上次介绍的是xgboos，而这次介绍CatBoost。
爱吃苹果的魚·2019-03-27 19:31

XGBoost、LightGBM、Catboost总结

sklearn集成方法bagging常见变体(按照样本采样方式的不同划分)Pasting:直接从样本集里随机抽取的到训练样本子集Bagging:自助采样(有放回的抽样)得到训练子集RandomSubspaces:列采样,按照特征进行样本子集的切分RandomPatches:同时进行行采样、列采样得到样本子集sklearn-bagging学习器BaggingClassifierBaggingRegr
Yasin_·2019-03-02 20:40

Catboost 一个超级简单实用的boost算法

今天笔者来介绍一个超级简单并且又极其实用的boosting算法包Catboost，据开发者所说这一boosting算法是超越Lightgbm和XGBoost的又一个神器。
王同学死磕技术·2019-03-02 16:37
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他