集成学习

集成学习（1）模型误差与集成学习

1模型误差——偏差与方差之前我们已经说了不少模型，这些模型的特点是：1、都是有监督模型；2、都是个体模型，基本上都是一个输入、一套参数、一个输出。一般来说，我们的有监督模型不可能做到百分比百的预测准确率，会与真实值存在一定的误差，而我们的目标就是不断的缩小误差，创造出更好的算法，知己知彼百战不殆，鉴于此，我们首先要去了解我们的对手——误差。试想，如果我们能搞到所有的数据，然后用完美的模型拟合他们，
蛋仔鱼丸·2020-07-06 17:31

菜菜的机器学习sklearn实战-----集成学习----随机森林

菜菜的机器学习sklearn实战-----集成学习----随机森林菜菜的机器学习sklearn实战-----集成学习----随机森林集成学习集成学习算法概述Bagging和Boostingsklearn
Avery123123·2020-07-06 15:16

随机森林，GBDT，XGBoost的对比

随机森林，GBDT，XGBoost的对比随机森林RFRandomForest随机森林的集成学习方法是bagging，但是和bagging不同的是bagging只使用bootstrap有放回的采样样本，但随机森林即随机采样样本
QueenieK·2020-07-06 10:03

街景字符编码识别项目学习笔记（五）

学习目标：学习集成学习方法以及交叉验证情况下的模型集成、学会使用深度学习模型的集成学习、以及对5月31号安神的直播做了一些总结一、模型集成1机器学习中的集成学习方法在机器学习中的集成学习可以在一定程度上提高预测精度
WadeFrank·2020-07-06 07:48

集成学习

集成学习集成学习(ensemblelearning)是通过构建并结合多个学习器来完成学习任务。其一般结构为：先产生一组个体学习器(individuallearner)。
池边的树·2020-07-06 06:10

【机器学习】boosting集成学习GBDT

一、什么是集成学习：1、集成学习的含义集成学习：指构建多个分类器（弱分类器）对数据集进行预测，然后用某种策略将多个分类器预测的结果集成起来，作为最终预测结果。
马苏比拉米G·2020-07-06 05:10

街景字符编码识别项目学习笔记（六）模型集成

集成学习方法在机器学习中的集成学习可以在一定程度上提高预测精度，常见的集成学习方法有Stacking、Bagging和Boosting，同时这些集成学习方法与具体验证集
幻灵H_Ling·2020-07-06 04:50

[机器学习 04] 树，集成学习-sklearn

树特点：树结构清晰，而且运算快。关键问题：树的构建。缺点：树的能力太强，一般都会过拟合。——特征一层一层划分，可以把所有特征分完，因此所以有的特征都会被分到最细，因此会造成数据过拟合。也因此，树可以剪枝。1.决策树（1）决策树是一种分类树。（2）基础知识：①熵：信息的不确定性。（熵的最大化，可以达到最大的探索能力，即信息量越大，遇到的可能性越多。）②条件熵：再已知随机变量X的条件下，随机变量Y的不
什么都一般的咸鱼·2020-07-06 03:09

机器学习笔记系列---集成学习

集成算法，包括多种形式，顾名思义——可以是多种算法的集成，也可以是一种算法在不同设置下的集成，还可以将数据集的同部分分配不同的分类器，再将这些分类器进行集成。（包括boosting和bagging）Bagging+决策树=随机森林AdaBoost+决策树=提升树GradientBoosting+决策树=GBDT再说到boost之前，先介绍下bagging（bootstrapaggregating）
不会写代码的张某某·2020-07-06 02:22

机器学习算法二：详解Boosting系列算法二GBM

是一类很常用的集成学习算法，在多次数据挖掘比赛中获得了优秀的成绩。在解释GBM时，有很多内容需要提前一并解释了才有助于理解GBM算法。
harrycare·2020-07-06 02:18

损失函数

、对数损失函数（CrossEntropyLoss，SoftmaxLoss）：用于Logistic回归与Softmax分类中；五、指数损失函数（ExponentialLoss）：主要用于Adaboost集成学习算法中
飞-舟·2020-07-06 01:44

用R语言分析与预測员工离职

kaggle数据分析之旅，这次数据也是答主在kaggle上选择的比較火的一份关于人力资源的数据集，关注点在于员工离职的分析和预測，依旧还是从数据读取，数据预处理，EDA和机器学习建模这几个部分開始进行，最后使用集成学习中比較火的
weixin_34184158·2020-07-06 00:07

matlab自带各种分类器的使用示例

目前了解到的MATLAB中分类器有：K近邻分类器，随机森林分类器，朴素贝叶斯，集成学习方法，鉴别分析分类器，支持向量机。现将其主要函数使用方法总结如下，更多细节需参考MATLAB帮助文件。
deep_learninger·2020-07-05 18:37

机器学习超详细实践攻略(23)：三板斧干掉样本不均衡问题之3——通过集成学习方法解决样本不均衡

一、原理本文是处理样本不均衡的第三种方法。思路也很简单：从样本量比较多的类别中随机抽取一定数量的样本，与样本量比较小的类别组合在一块儿训练模型。这样会训练出好几个模型，最后在应用时，使用组合的方法（例如投票、加权投票等）产生分类预测结果。例如，若数据集中的正、负样本的比例为1:10。此时可以将负样本随机分为10份（或者每次随机抽取和正样本相同数量的负样本），然后和所有的正样本组成训练集。这样可以得
东写西读1·2020-07-05 17:46

Boosting家族新成员之LightGBM

了解机器学习的童鞋们肯定知道集成学习的两个基本方向，boosting和bagging，怎么样，脑子里是不是马上浮现出两幅画面：bagging----散落满地的树boosting----直线接力我在最初接触到集成学习模型的时候首先知道的就是随机森林
汪之涛·2020-07-05 16:04

自然语言处理的一些工具和书籍文章

这几天都在起早贪黑的硕士师兄做集成学习的模型，好不容易都搭建好了，却发现没办法喂入数据。无奈之下，向远在天津大学读书的另一个师兄求救，聊天过程中，他知道我本科期间做了一些nlp(自然语言处理)的研究。
會飛的土豆·2020-07-05 12:17

零基础学cv——街景字符识别——task5，模型集成

模型集成学习目标集成学习方法深度学习中的集成学习方法DropoutTTA（TestTimeAugmentation）集成学习需要注意的地方学习目标学会集成学习方法，了解基本的深度学习的集成学习集成学习方法集成学习也是提高模型的预测精度的一种方法
张亲亲亲亲钦·2020-07-05 08:32

九.随机森林

通过组合多个过拟合评估器来降低过拟合程度，实质上是一种集成学习方法，通常称为装袋算法。虽然每个评估器都对数据过拟合，但是通过求取均值的方式，最终仍然可以获得很好的分类效果。
愿风去了·2020-07-05 07:48

决策树和集成学习(Boosting&Bagging&Stacking)的方法区分

  决策树(DecisionTree)是常见的机器学习方法，可以处理分类和回归问题。用于分类的决策树对比逻辑回归和SVM的区别在于：LR适合处理接近线性可分的分类问题，决策边界是线性的；SVM通过把特征空间映射到核空间使得各个类别线性可分，在高维空间的决策面是线性的，映射回原特征空间的决策边界是非线性的；而DT是基于树形结构来进行决策的，将一个个特征按层次进行划分，可以找到非线性的决策边界。LR和
迷路的咸鱼·2020-07-05 06:40

机器学习算法总结10:Bagging及随机森林

Bagging是并行式集成学习方法最著名的代表，可以用于分类任务，也可以用于回归任务，被誉为“代表集成学习技术水平的方法”。
小颜学人工智能·2020-07-05 05:35

《统计学习方法》-李航、《机器学习-西瓜书》-周志华总结+Python代码连载（六）--集成学习_FM/GBDT/Xgboost

一、随机森林/FM（RandomForst）随机森林是集成学习Bagging流派中一个变体，RF在以决策树为基学习构建Bagging集成的基础上，进一步在决策树的训练过程中引入随机属性选择。
xiao韩·2020-07-05 04:27

机器学习各类算法思路总结四(决策树与随机森林、集成学习了解)

决策树简单来说，决策树，就是将数据集转化为一棵树，按照这棵树的规则，对于样本进行归类。决策树是一种非参数监督学习方法，用于分类与回归。目标是创建一个模型，从数据特征中进行学习，进而推断出的简单决策规则，用来预测目标变量的值。决策树是一种树形结构，通过做出一系列决策（选择）来对数据进行划分，这类似于针对一系列问题进行选择。决策树的决策过程就是从根节点开始，测试待分类项中对应的特征属性，并按照其值选择
勿语~·2020-07-05 03:16

零基础入门CV赛事- 街景字符编码识别Task5

这里描述一下，机器学习的最后一部分内容，也就是集成学习，也被称为模型融合。
ora_dy·2020-07-05 01:27

从集成学习到模型的偏差和方差的理解

今天在看scikit-learn文档关于集成学习的论述中又提到偏差和方差，所以我想谈一谈我对这两个概念的理解。集成学习集成学习是一种组合类型的学习方法。
Orange先生·2020-07-05 01:21

模型集成

模型集成学习目标集成学习方法深度学习中的集成学习DropoutTTASnapshot结果后处理学习目标1、学习集成学习方法以及交叉验证情况下的模型集成2、学会使用深度学习模型的集成学习集成学习方法在机器学习中的集成学习可以在一定程度上提高预测精度
ma0303·2020-07-04 23:59

XGBoost原理及目标函数推导详解

前言XGBoost（eXtremeGradientBoosting）全名叫极端梯度提升，XGBoost是集成学习方法的王牌，在Kaggle及工业界都有广泛的应用并取得了较好的成绩，本文较详细的介绍了XGBoost
htbeker·2020-07-04 18:03

Ensemble Learning 集成学习

基本概念通过对多个学习期进行结合，获得比单个学习器更优的结果。HoeffdingInequalityHoeffdingInequality提供了独立随机变量之和偏离期望值的概率的上界。特殊情况：当随机变量是Bernoulli分布时，假设随机变量x=1的概率为p，进行了n次实验，随机变量x之和至多为k的概率为：P(H(n)≤k)=∑i=0k(ni)pi(1−p)(n−i)H(n)表示n次实验变量x之
老子今晚不加班·2020-07-04 17:21

机器学习入门：极度舒适的GBDT原理拆解

机器学习入门：极度舒适的GBDT拆解本文旨用小例子+可视化的方式拆解GBDT原理中的每个步骤，使大家可以彻底理解GBDTBoosting→GradientBoostingBoosting是集成学习的一种基分类器
jpld·2020-07-04 15:00

正则化手段：Dropout

它借用了集成学习的思想，近似实现了同时训练大量网络结构，并通过集成得出预测结果的功能。由于含有集成环节，Dropout可以有效地避免过拟合。
求索_700e·2020-07-04 12:54

Datawhale 零基础入门CV赛事-Task5 模型集成

文章目录Datawhale零基础入门CV赛事-Task5模型集成学习目标集成学习方法深度学习中的集成学习DropoutTTASnapshot结果后处理本章小结Datawhale零基础入门CV赛事-Task5
Zebbbb·2020-07-04 09:31

【机器学习算法笔记系列】决策树(Decision Tree)算法详解和实战

同时也特别适合集成学习比如随机森林
fpzRobert·2020-07-04 07:20

Datawhale 零基础入门CV之街道字符识别赛事-Task5 模型集成

模型集成本章讲解的知识点包括：集成学习方法、深度学习中的集成学习和结果后处理思路。
ac！·2020-07-04 04:49

ML读书笔记（集成学习）

A.Boosting：级联顺序训练，不能Model并行（只能每个弱分类器内部Data并行）；样本有权重；弱分类器有权重；Bagging：可并行训练；偏差：由于分类器的表达能力有限导致的系统性错误，表现在训练误差不收敛；（例如假设错误，比如数据本来符合二次函数，而建模用了一次函数）（在训练集上即可体现出来）方差：由于分类器对于样本分布过于敏感，导致在训练样本数较少时，产生过拟合；（模型的复杂度相对于
smartcat2010·2020-07-04 02:42

随机森林算法框架

随机森林框架梳理目录1.基础知识1.1何为集成学习1.2集成学习一般流程1.3模型融合方法1.4如何选择基分类器2.随机森林简介3.随机森林算法推导4.随机森林算法分析4.随机森林算法应用场景5.随机森林算法
qq_27018963·2020-07-02 17:19

集成学习之boosting，Adaboost、GBDT 和 xgboost（三）

AdaBoost算法的解释——前向分步法与提升树(GBDT)可以认为AdaBoost算法是模型为加法模型，损失函数为指数函数、学习算法为前向分步算法时的二类分类学习方法。前向分步算法：考虑加法模型f(x)=∑m=1Mβmb(x;γm)f(x)=\displaystyle\sum_{m=1}^{M}β_mb(x;γ_m)f(x)=m=1∑Mβmb(x;γm)——(式1)其中b(x;γm)为基函数，γ
qq_16608563·2020-07-02 16:47

集成学习之boosting，Adaboost、GBDT 和 xgboost（一）

在前面的博客（https://blog.csdn.net/qq_16608563/article/details/82878127）介绍了集成学习的bagging方法及其代表性的随机森林。
qq_16608563·2020-07-02 16:16

Boosting 族 ——AdaBoost全解

~~~~~~~~~~~~~先从集成学习说起~~~~~~~~~~~~~机器学习：即由计算机系统处理很多数据建立一个模型，然后用该模型去处理新的数据。
万勇's Blog·2020-07-02 15:16

01_集成学习（Ensemble Learning）简介

集成学习（EnsembleLearning）简介集成学习涉及多种技术的组合，这些技术允许称为基础学习者（或有时称为弱学习者）的多个机器学习模型合并其预测，并在给定各自的输入和输出的情况下输出单个最佳预测
Vivian Ouyang·2020-07-02 14:30

12.房价预测集成学习Stacking Learning

代码地址：appke/Los-House-Prices:洛杉矶房价预测importnumpyasnpimportpandasaspd#忽略警告信息importwarningswarnings.filterwarnings("ignore")数据集的准备fromsklearn.model_selectionimporttrain_test_splittrain=pd.read_csv('datas/
appke_·2020-07-02 13:24

集成算法学习（1）-Bagging、Boosting(AdaBoost)原理与公式推导

1、决策树与集成学习的关系根据python3决策树（ID3、C4.5、CART）原理详细说明与公式推导可知：决策树容易解释，可以处理离散和连续值，对输入变量的单调转换不敏感（因为分割点是基于数据点的排序
mengjizhiyou·2020-07-02 12:13

机器学习笔记（七） 集成学习概述

集成学习（ensemblelearning）是通过组合多个基分类器（baseclassifier）来完成学习任务。基分类器一般采用的是弱可学习分类器，通过集成学习，组合成一个强可学习分类器。
Edith077·2020-07-02 11:43

Datawhale 零基础入门CV赛事学习笔记-Task5 模型集成

Datawhale零基础入门CV赛事-Task5模型集成1集成学习集成学习只能在一定程度上提高精度，并需要耗费较大的训练时间，因此建议先使用提高单个模型的精度，再考虑集成学习过程。
liuyi6111·2020-07-02 09:38

集成学习

集成学习这篇博客是在学习集成学习时总结多篇博客和文章，再加上自己一些看法和补充的结果。具体参考的博客和文章见文末参考文献。
liqiutuoyuan·2020-07-02 08:08

集成学习（2）bagging代表——随机森林

回顾前文对bagging的定义：1.bagging（BootstrapAggregating）：针对独立的同质弱学习器，相互独立地并行学习这些弱学习器，并按照某种确定性的平均过程将它们组合起来。（注意这里所说的独立并不是绝对的独立，只是没有强依赖关系）本篇说一下bagging中的随机森林。1bagging的另一个优点——OOB我们知道，bagging因为样本随机抽样，是基学习器没有强依赖关系，所以
蛋仔鱼丸·2020-07-02 08:34

机器学习笔记-集成学习之Bagging，Boosting，随机森林三者特性对比

集成学习的概念定义：集成学习通过构建并结合多个学习器来完成学习任务。
lilu916·2020-07-02 08:58

集成学习-Adaboost

Adaboost是集成学习中经典的算法之一。Adaboost算法，英文全称为：AdaptiveBoosting，即自适应增强，是一种典型的Boosting算法。
Panpan Wei·2020-07-02 06:12

集成学习-bagging

bagging集成学习中最为经典的算法之一。
Panpan Wei·2020-07-02 06:11

机器学习之分类器——Matlab中各种分类器的使用总结（随机森林、支持向量机、K近邻分类器、朴素贝叶斯等）

Matlab中常用的分类器有随机森林分类器、支持向量机（SVM）、K近邻分类器、朴素贝叶斯、集成学习方法和鉴别分析分类器等。
样young·2020-07-02 05:33

关于集成学习的学习笔记

1、常见的集成学习框架bagging，boosting、stacking（1）bagging从训练集进行子抽样组成每个基模型所需要的子训练集，对所有基模型预测的结果进行综合产生最终的预测结果。
jiaojiaolou·2020-07-02 05:21

机器学习之集成学习（二）AdaBoost算法

一、boosting算法的基本原理集成学习器根据个体学习器的生成是否存在依赖关系，可以分为两类：个体学习器间存在强依赖关系，必须串行生成，代表算法是boosting系列算法；个体学习器之间不存在强依赖关系
ivy_reny·2020-07-02 04:23
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他