集成学习第30页

机器学习（六）——XGBoost算法

Xgboost算法以CART决策树为子模型，通过GradientTreeBoosting实现多棵CART树的集成学习，得到最终模型。XGBoost提供了并行树提升（

Kay_Xiaohe_He·2021-04-26 23:58

DataWhale集成学习（中）——Task11 XGBoost算法分析与案例调参实例

XGBoost是一个优化的分布式梯度增强库XGBoost提供了并行树提升（也称为GBDT，GBM）以CART决策树为子模型，通过GradientTreeBoosting实现多棵CART树的集成学习，得到最终模型

x___xxxx·2021-04-26 20:43

机器学习之随机森林(手推公式版)

文章目录前言1.集成学习1.1Boosting1.2Bagging2.随机森林2.1投票法2.2平均法3.模型实现结束语前言随机森林(Random(Random(RandomForest,RF)Forest

夏小悠·2021-04-26 13:23

Python3机器学习实践：集成学习

集成学习亦如此。

AiFany·2021-04-24 22:59

DataWhale集成学习Task10--前向分步算法与梯度提升决策树

文章目录回顾1.前向分步算法加法模型（aditivemodel）前向分布算法前向分布算法与Adaboost之间的关系2.梯度提升决策树(GBDT)基于残差学习的提升树算法：梯度提升决策树算法(GBDT)：3作业GradientBoostingRegressor回顾回看Adaboost的算法内容，我们需要通过计算M个基本分类器，每个分类器的错误率、样本权重以及模型权重。我们可以认为：Adaboost

程序员狐小李·2021-04-24 01:54

非均衡数据处理--如何学习？

采用集成学习思想，将major类进行横向划分，形成小的均衡的样本集群。Sampling技术Sampling技术比较直观，就是怎么把样本变成均衡的。

史春奇·2021-04-23 07:49

集成学习中笔记03 boosting思路和adaboost算法

集成学习中笔记03boosting思路和adaboost算法boosting算法与bagging算法不同，主要在通过不断的训练，减小预测偏差。

ritatype·2021-04-19 16:23

DataWhale第23期组队集成学习-Task9

3.1Adaboost的一般使用流程3.2Adaboost的基本原理3.3例子4.使用sklearn对Adaboost算法进行建模1.导论在前面的学习中，我们探讨了一系列简单而实用的回归和分类模型，同时也探讨了如何使用集成学习家族中的

DreamStar_w·2021-04-19 16:29

Machine Learning-决策树与集成学习

决策树与集成学习目录·简介·决策树·booststrap·bagging·boosting·随机森林·Adaboost·GBDT·XGboost简介本文主要针对集成学习中的随机森林、Adaboost和GBDT

丁想·2021-04-19 14:15

原理+代码｜深入浅出Python随机森林预测实战

前言组合算法也叫集成学习，在金融行业或非图像识别领域，效果有时甚至比深度学习还要好。

Y小光头·2021-04-19 02:40

机器学习模型调优方法（过拟合、欠拟合、泛化误差、集成学习）

机器学习模型调优方法过拟合和欠拟合降低过拟合风险的方法降低欠拟合风险的方法泛化误差、偏差和方差泛化误差偏差和误差模型评估Holdout检验交叉检验自助法集成学习BoostingBagging集成学习的步骤从减小方差和偏差的角度解释

罐罐罐子·2021-04-19 00:39

架构师都必须掌握的java项目日志框架使用,适配,桥接

写作目的了解slf4j和其他日志框架集成学习日志框架的切换和嫁接如何处理第三方项目的日志依赖问题熟悉log4j-over-slf4j.jar,log4j-slf4j-impl.jar等包,看完本文内容,

山间草夫·2021-04-18 15:20

DataWhale集成学习Task8--Bagging的原理和案例分析

文章目录Bagging法的思路Bagging原理分析Bagging实战案例Bagging的补充知识Bagging的优点Bagging的缺点Bagging分类简单应用Bagging回归简单应用Bagging法的思路上一节提到了投票法，它通过多个模型的集成来降低方差，提高模型的鲁棒性；而bagging和投票法不一样的地方在于Bagging不仅仅集成模型最后的预测结果，同时采用一定策略来影响基模型训练，

程序员狐小李·2021-04-17 20:28

DataWhale第23期组队集成学习-Task8

文章目录一、bagging的思路二、bagging的原理分析三、bagging的案例分析(基于sklearn，介绍随机森林的相关理论以及实例)3.1树模型3.2BaggingClassifier3.3BaggingRegressior4.例子一、bagging的思路与投票法不同的是，Bagging不仅仅集成模型最后的预测结果，同时采用一定策略来影响基模型训练，保证基模型可以服从一定的假设。在上一章

DreamStar_w·2021-04-17 13:48

决策树与随机森林

目录1决策树（1）决策树的原理（2）决策树API与实例（3）决策树的优缺点2随机森林（1）集成学习方法（2）随机森林原理（3）为何要随机抽取训练集和有放回抽样（4）随机森林的API（5）pycharm连接服务器

weixin_44457930·2021-04-14 21:52

集成学习-task7&task8

投票法思路投票法（voting）是集成学习里面针对分类问题的一种结合策略。基本思想是选择所有机器学习算法当中输出最多的那个类。

lx12633036·2021-04-13 15:55

【集成学习】Blending和Stacking

目录1.Blending2.Stacking2.1简单堆叠三层CV分类2.2使用概率作为元特征2.3堆叠5折CV分类与网格搜索(结合网格搜索调参优化)2.4在不同特征子集上运行的分类器的堆叠2.5ROC曲线3.Blending和Stacking对比Stacking，这个集成方法在比赛中被称为“懒人”算法，因为它不需要花费过多时间的调参就可以得到一个效果不错的算法。stacking严格来说并不是一种

一一张xi·2021-04-12 22:48

随机森林

1.概述1.1集成算法概述集成学习通过在数据上构建多个模型，集成所有模型的建模结果，汇总之后得到一个综合的结果，以此来获取比单个模型更好的回归或分类表现。

从数分到数疯·2021-04-12 21:36

集成学习task7 投票法的原理和案例分析

文章目录1.集成学习2.投票法的思路3.投票法的原理4.投票法的案例分析参考来源：https://github.com/datawhalechina/team-learning-data-mining/

蜗牛海胆·2021-04-12 17:59

集成学习之xgboost、lightGBM、CatBoost、NGBoost对比

集成学习Boosting，与Bagging一样，使用的相同的弱学习器，不过是以自适应的方法顺序地学习这些弱学习器，即每个新学习器都依赖于前面的模型，并按照某种确定性的策略将它们组合起来两个重要的Boosting

Andy9918·2021-04-10 23:48

DataWhale集成学习Task5--掌握基本的分类模型

文章目录总览收集数据集并选择合适的特征选择度量模型性能的指标选择具体的模型并进行训练逻辑回归基于概率的分类模型：线性判别分析基于贝叶斯公式对线性判别分析的理解降维分类的思想理解线性判别分析朴素贝叶斯决策树支持向量机SVM推导过程非线性支持向量机小结摘要：从Task5开始，我们就开始学习新的模型，有监督学习的另一大类，分类模型。其最大的特点为因变量是离散型变量总览一般来说，一个完整的分类项目分为以下

程序员狐小李·2021-03-27 22:36

DataWhale第23期组队集成学习上-Task5

文章目录使用sklearn构建完整的分类项目一、收集数据集并选择合适的特征二、选择度量模型性能的指标三、选择具体的模型并进行训练1.逻辑回归Logisticregression1.1推导1.2小结又改变一下1.3其他：梯度上升法与梯度下降法1.3.1梯度上升法1.3.2梯度下降法2.基于概率的分类模型2.1有关贝叶斯2.2线性判别分析2.2.1基于贝叶斯公式对线性判别分析的理解2.2.2推导2.2

DreamStar_w·2021-03-27 14:26

DataWhale集成学习-Task2

DataWhale集成学习-Task2线性回归目标函数的数学意义正规方程解决最小二乘问题线性回归推广广义可加模型决策树回归和支持向量回归记录DataWhale集成学习的组队学习过程，Task2是熟悉机器学习中的回归问题

What We Talk about·2021-03-19 00:50

DataWhale集成学习Task2--掌握基本的回归模型

摘要：回顾Task1，分类属于有监督学习的应用之一，其因变量是连续型变量，下面我们来详细解读一下分类，掌握分类的基本模型机器学习基础度量指标MSE均方误差：MSE(y,y^)=1nsamples∑i=0nsamples−1(yi−y^i)2.\text{MSE}(y,\hat{y})=\frac{1}{n_\text{samples}}\sum_{i=0}^{n_\text{samples}-1}

程序员狐小李·2021-03-18 23:09

提升机器学习算法准确度的方法：模型融合-集成学习-投票机制 sklearn VotingRegressor 比赛上分大杀器

在机器学习比赛中，模型融合是比赛后期上分的重要手段，因为不同的模型可能对不同的样本有超额的效果。这样模型融合可以结合不同模型的优势，如果你和你的队友有不同模型，这样融合后大概率能有效上分。VotingClassifier投票法投票法可以根据权重，或者直接平均，将模型的预测结果进行融合。均值pre=(pre1+pre2+pre3+…+pren)/n加权平均pre=0.1pre1+0.2pre2+0.

AiFool·2021-03-18 16:17

DataWhale第23期组队集成学习上-Task2

基本的回归模型(ps.点蓝色字体有跳转惊喜!)一、学习和使用机器学习算法开发应用程序应遵循的步骤收集数据；准备输入数据。得到数据后，需要确保数据格式符合要求，还需要为机器学习算法准备特定的数据格式；分析输入数据。这一步的主要作用是确保数据集中没有垃圾数据。此步骤需要人工干预，若在自动化系统中还需要人工干预，显然就降低了系统的价值；训练算法。将前两步得到的格式化数据输入算法，从中抽取知识或信息。若使

DreamStar_w·2021-03-18 15:03

（DataWhale组队学习）集成学习之机器学习基础——机器学习三大主要任务

有监督学习和无监督学习的区别有监督学习：对具有标记的训练样本进行学习，以尽可能对训练样本集外的数据进行分类预测。常用的方法有线性回归（LR），支持向量机（SVM），置信度传播（BP），随机森林（RF），梯度提升迭代决策树（GBDT）无监督学习：对未标记的样本进行训练学习，并发现这些样本中的结构知识。常用方法K均值聚类（KMeans），深度学习(DL)。回归和分类（有监督学习）回归：因变量是连续型变

起名字什么的好难·2021-03-15 20:04

跟着Datawhale学习集成学习

集成学习1、机器学习的主要任务1.1监督学习1.1.1回归1.1.2分类1.2无监督学习2.掌握基本的回归模型2.1理论简介2.2代码实现3.模型优化3.1偏差与方差理论（Variance-BiasTradeoff

hello_JeremyWang·2021-03-15 16:31

Datawhale第23期组队集成学习上-Task1

Datawhale第23期组队集成学习上-Task1机器学习的三大主要任务机器学习的一个重要的目标就是利用数学模型来理解数据，发现数据中的规律，用作数据的分析和预测。

DreamStar_w·2021-03-15 16:34

《统计学习方法》之随机森林Random Forest

1.Bagging和Boosting在集成学习方法中，Bagging和Boosting是具有代表性的两大方法，Boosting方法是基于前向加法模型，基本分类器之间存在强依赖关系，每一步学习的分类器都依赖于前面分类器的预测结果

周恩国的学习笔记·2021-03-12 12:37

零基础入门语义分割-Task6 分割模型模型集成

文章目录一、集成学习方法二、深度学习中的集成学习1.Dropout2.TTA3.Snapshot一、集成学习方法在机器学习中的集成学习可以在一定程度上提高预测精度，常见的集成学习方法有Stacking、

李明朔·2021-03-07 15:36

深度学习-自然语言处理(NLP)：Q&A

简述几种自然语言处理开源工具包LingPipe、FudanNLP、OpenNLP、CRF++、StandordCoreNLP、IKAnalyzer2、比较Boosting和Bagging的异同二者都是集成学习算法

忍者の乱太郎·2021-02-27 22:58

初勘数据处理之预测算法（随机森林random forest）附matlab源码

初勘数据处理之预测算法（随机森林randomforest）附matlab源码集成学习方法集成学习方法，是整合多个分类方法的预测结果，以提高分类准确率。

A-尹·2021-02-24 12:03

《百面机器学习》读书笔记（十二）-集成学习

全部笔记的汇总贴：《百面机器学习》-读书笔记汇总面对一个机器学习问题，通常有两种策略。一种是研发人员尝试各种模型，选择其中表现最好的模型做重点调参优化。这种策略类似于奥运会比赛，通过强强竞争来选拔最优的运动员，并逐步提高成绩。另一种重要的策略是集各家之长，如同贤明的君主广泛地听取众多谋臣的建议，然后综合考虑，得到最终决策。后一种策略的核心，是将多个分类器的结果统一成一个最终的决策。使用这类策略的机

及时行樂_·2021-02-12 10:02

python随机森林变量重要性_利用随机森林对特征重要性进行评估

前言随机森林是以决策树为基学习器的集成学习算法。随机森林非常简单，易于实现，计算开销也很小，更令人惊奇的是它在分类和回归上表现出了十分惊人的性能，因此，随机森林也被誉为“代表集成学习技术水平的方法”。

潜水队长·2021-02-11 06:45

集成学习(ensemble learning)

本文主要基于西瓜书第8章的内容，以及自己对相关领域的理解整理而成集成学习是通过构建并结合多个个体学习器来完成学习任务的。

ShawnChen98·2021-02-08 10:01

强化学习-项目经验汇总

文章目录一些闲话关于项目要解决的问题环境建模状态动作状态转移奖励设置不同版本的游戏规则数据仿真大法一些技巧和经验动作选择学习率模型主体经验回放考虑结合集成学习其他一些闲话距离上一次更新已经过去三个月了。

哈喽十八子·2021-01-31 01:24

ApacheCN 深度学习译文集 20201218 更新

新增了四个教程：Python人工智能中文版0前言1人工智能简介2人工智能的基本用例3机器学习管道4特征选择和特征工程5使用监督学习的分类和回归6集成学习的预测分析7通过无监督学习检测模式8构建推荐系统9

·2021-01-26 13:54

基于集成学习方法Random Forest、Adaboost、GBDT、LightGBM、XGBoost的调参、建模、评估实现kaggle竞赛员工离职案例分析（2）

基于集成学习方法RandomForest、Adaboost、GBDT、LightGBM、XGBoost的调参、建模、评估实现kaggle竞赛员工离职案例分析（2）引言3.adaboost模型分类贝叶斯调参

smile_小北·2021-01-25 16:22

基于集成学习方法(Random Forest、Adaboost、GBDT、LightGBM、XGBoost)的调参、建模、评估实现kaggle竞赛员工离职案例分析（1）

基于集成学习方法RandomForest、Adaboost、GBDT、LightGBM、XGBoost的调参、建模、评估实现kaggle竞赛员工离职案例分析（1）引言实验内容实验环境数据准备数据初探导入相关的包忽略警告及可展示读取数据数据探索空值

smile_小北·2021-01-25 15:59

数据挖掘算法和实践（二十三）：XGBoost集成算法案列（鸢尾花数据集）

本节继续探讨集成学习算法，上一节介绍的是LGB的使用和调参，这里使用datasets自带的鸢尾花数据集介绍XGB，关于集成学习算法的介绍可以参考：数据挖掘算法和实践（十八）：集成学习算法（Boosting

A叶子叶来·2021-01-23 17:46

数据挖掘算法和实践（二十二）：LightGBM集成算法案列（癌症数据集）

本节使用datasets数据集中的癌症数据集使用LightGBM进行建模的简单案列，关于集成学习的学习可以参考：数据挖掘算法和实践（十八）：集成学习算法（Boosting、Bagging），LGBM是一个非常常用算法

A叶子叶来·2021-01-23 17:20

python决策树及规则解析

上一篇博文用随机森林实现了发欺诈模型的构建，但随机森林隶属于集成学习的一种，属于黑箱算法，为了增强模型的解释性，本篇博文采用同样的数据适用决策树算法再次构建模型，并输出可视化二叉树形图以及规则文本，并对决策树输出规则文本进行解析

bigdata老司机·2021-01-22 18:15

数据挖掘算法和实践（十八）：集成学习算法（Boosting、Bagging）

之前主要介绍单机器学习算法的理解和使用，实际场景多使用集成学习即组合的挖掘算法以达到最优效果，集成学习有2种：Boosting和Bagging，前者通过多个串行的弱学习器得到强学习器（GBDT、XoostGB

A叶子叶来·2021-01-15 16:48

集成学习_随机森林分类

importnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.datasetsimportload_irisfromsklearnimporttreefromsklearn.model_selectionimporttrain_test_splitfromsklearnimportneighborsfromsklearn.ensembleimport

佐倉·2021-01-11 16:44

回顾2020年那些“领域第一本”，每一本都强烈推荐！

▼▊《集成学习：基础与算法》周志华著，李楠译人工智能相关产业的蓬勃发展，通过构建并结合多个学习器来

博文视点·2021-01-11 14:17

机器学习期末复盘

文章目录ch.1ch.2ch.3逻辑回归ch.4决策树ch.5神经网络ch.6SVMch.7贝叶斯ch.8集成学习ch.9聚类ch.0题型ch.1分类和回归属于监督学习，聚类属于无监督机器学习三要素：模型

Stupid小池·2021-01-10 23:58

《机器学习》总复习（下）

第六章《随机森林》6.1随机森林1.概念：(1)集成学习：将多个弱分类器组合成一个强分类器，从而得到更合理的边界，减少分类错误，实现更好的分类效果。①Bagging算法：是集成学习领域的一种基本算法。

金子的限定三文鱼块·2021-01-09 15:31

机器学习算法的总结介绍一（超全面）：线性回归；逻辑回归；支持向量机；集成学习；朴素贝叶斯；KNN

文章目录前言一、线性回归（Linearregression）二、逻辑回归（Logisticregression）三，支持向量机（SVM）四，集成学习（EnsembleLearning）五，朴素贝叶斯分类

Arwin & Luisa·2021-01-06 02:10

ML《集成学习（四）Boosting之回归树、提升树和GBDT》

GBDT(GradientBoostingDecisionTree)又叫MART（MultipleAdditiveRegressionTree)，是一种迭代的决策树算法，该算法由多棵决策树组成，所有树的结论累加起来做最终答案。它在被提出之初就和SVM一起被认为是泛化能力较强的算法。 GBDT中的树是回归树（不是分类树），GBDT用来做回归预测，调整后也可以用于分类。 GBDT的思想使其具有天然

星海千寻·2021-01-04 03:51

推荐频道

集成学习