02_统计学习

统计学习方法超详细学习笔记-第五章 决策树

第五章决策树决策树(decisiontree)种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行
xingS1992·2022-12-26 04:20

FPGA时序约束分享02_时钟约束（实用分享）

FPGA时序约束分享02_时钟约束作者：潘文明上一篇《FPGA时序约束分享01_约束四大步骤》一文中，介绍了时序约束的四大步骤。
MDYFPGA·2022-12-25 08:35

VINS-Mono笔记02_前端特征点追踪feature_tracker

VINS-Mono笔记02_前端特征点追踪feature_tracker预备知识ROS预定义消息格式图像消息格式[`Image`](http://docs.ros.org/en/noetic/api/sensor_msgs
ncepu_Chen·2022-12-24 17:41

机器学习之感知机模型

机器学习之感知机模型写在前面感知机模型的初步理解自我理解感知机模型建立对偶形式写在前面这部分主要是基于李航老师的《统计学习方法》以及参考部分博客完成，写出来让自己更好理解。
cug_humoumou·2022-12-24 17:39

基于统计学习---面向新闻的发生地与提及地检测

基于统计学习---面向新闻的发生地与提及地检测一、摘要二、流程2.1-数据构建及数据预处理2.2-全国5级地址实体二叉树2.3-命名实体识别相关算法2.4-新闻中特征信息分析2.5-基于多个特征融合设计权重公式三
师父我坚持不住了·2022-12-24 13:31

【白话机器学习】算法理论+实战之K-Means聚类算法

常见的机器学习算法：监督学习算法：逻辑回归，线性回归，决策树，朴素贝叶斯，K近邻，支持向量机，集成算法Adaboost等无监督算法：聚类，降维，关联规则,PageRank等为了详细的理解这些原理，曾经看过西瓜书，统计学习方法
算法channel·2022-12-24 11:04

【机器学习】Adaboost、GBDT、XGBoost算法原理解析

GBDT和XGBoost《统计学习方法》与《机器学习》这两本书中都没有涉及，但是看别人在牛客网上的面经分享都有提到，其实这两个算法主要在竞赛中经常被用到，因此还是有必要了解一下。
秋天的波·2022-12-24 10:58

决策树与随机森林

2.生成（步骤和公式的话，《统计学习方法》讲的很清楚）决策树学习采用自顶向下的递归方法，以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的
JNYxiaocao·2022-12-24 08:59

SVM(6)——序列最小最优化算法(SMO)代码

一、代码根据李航统计学习方法第一版的公式进行编写，与sklearn的svm进行对比importnumpyasnpfromsklearnimportdatasetsfromsklearn.model_selectionimporttrain_test
嘻哈过路人·2022-12-23 13:12

人工智能算法（1）感知机原理及代码实现（C#）

统计学习方法|感知机原理剖析及实现对感知机的讲解很直观。例如有一堆零件，每个零件有重量、长度等。
长安山南君·2022-12-23 10:50

《西瓜书》学习笔记-目录

《机器学习》，即西瓜书是机器学习的入门书籍，也是比较完整的书，此笔记是通读西瓜书后，对于重要知识点进行总结和完善，对于一些公式进行了完整的推导后的学习笔记，同时也参考了李航老师的《统计学习方法》，还有很多其他老师的博客共同所得
ruoqi23·2022-12-23 10:00

机器学习——1.机器学习绪论

文章目录1.统计学习，机器学习1.1相关定义1.2.三要素1.3实现步骤2.基本术语与概念2.1机器学习的方法分类2.2数据集（dataset）2.3假设空间2.3.1概念学习2.3.2布尔概念学习2.3.3
大墅哥哥·2022-12-23 01:58

贝叶斯分类器

贝叶斯分类器贝叶斯分类器是一种概率框架下的统计学习分类器，对于分类任务而言，假设在相关概率都已经知道的情况下，贝叶斯分类器考虑如何基于这些概率为样本判定最优的类标，在开始介绍贝叶斯决策论之前，我们首先回顾下概率论委员会常委
big_matster·2022-12-22 18:20

机器学习 | 逻辑回归与最大熵模型理论知识（一）

逻辑回归是统计学习中的经典分类方法，最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型。逻辑回归模型与最大熵模型都属于对数线性模型。今天，我们先来学习逻辑回归模型。
IT农民工1·2022-12-22 16:14

机器学习 | 最大熵模型

2.3.3最大熵模型的表示2.3.4最大熵模型的学习3最大熵模型的应用场景4模型优缺点4.1优点4.2缺点参考1前言继续梳理李航老师《统计学习方法》的章节内容，今天我们一起来看一看啥叫最大熵模型？
写代码的阿呆·2022-12-22 16:09

独家 | 计算学习理论简介（附资源推荐）

计算学习理论，或者说统计学习理论，指的是量化学习任务和算法的数学框架。对于机器学习领域的实践者来说，想找到大多数问题的优质解决方案，并不需要深度了解这些机器学习的子领域。尽管如此，在子领域
数据派THU·2022-12-22 12:10

数据挖掘算法学习及应用场景

常用的数据挖掘算法及其应用场景参考了许多资料加上个人理解，对十大算法进行如下分类：•分类算法：C4.5,CART,Adaboost,NaiveBayes,KNN,SVM•聚类算法：KMeans•统计学习
无人不智能，机器不学习·2022-12-22 11:22

周志华机器学习：决策树

决策树文章目录决策树参考基本流程划分选择信息增益决策树的生成——ID3，及其问题增益率决策树生成——C4.5，及其问题剪枝处理预剪枝和后剪枝统计学习方法中的剪枝CART算法（统计学习方法80）CART回归树
椰子奶糖·2022-12-21 21:13

从感知机到深度学习发展史

Blessy_Zhuhttps://blog.csdn.net/weixin_42555080一从机器学习到深度学习我们知道，MachineLearning分为两大派别：频率派和贝叶斯派；前者逐渐发展为统计学习
Blessy_Zhu·2022-12-21 19:00

李航统计学习方法-决策树

决策树决策树（decisiontree）是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分
JohnBanana·2022-12-21 17:06

(5) 李航《统计学习方法》基于Python实现——决策树

决策树模型决策树是一种基本的分类和回归方法，本文主要讨论用户分类的决策树。决策树模型呈现树桩结构，在分类问题中，它表示基于特征对实例进行分类的过程。它可以认为是if-then的规则的集合也可以认为是定义在特征空间与类空间上的条件概率分布。决策树学习通常包括3个步骤：特征选择，决策树的生成和决策树的修剪。优点：模型具有可读性，解释性较强，分类速度快，准确性高，可以处理连续和种类字段，不需要任何领域知
奥卡姆的剃刀·2022-12-21 17:06

NLP入门｜《统计学习方法》学习（五）｜决策树/剪枝/ID3&C4.5&CART算法

导读马上开启第五章决策树部分内容的学习，预计用时2-3天～声明：以下截图来自书本以及b站课程（up主：简博士）。一、决策树1.介绍分类决策树模型是一种描述对实例进行分类的树形结构。2.组成1）决策树由结点和有向边构成，结点又可以分为内部结点和叶结点。2）其中内部结点表示特征或者属性，而叶结点表示类别。最上端的内部结点也叫做根结点。3.If-Then规则1）决策树是通过一系列规则对数据进行分类的过程
尚小雨雨·2022-12-21 17:35

统计学习方法决策树

决策树（decisiontree）是一种基本的分类与回归方法。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分类。决策树学习通常包括3个步骤：特征
一枝韩独秀·2022-12-21 17:04

【统计学习方法】 决策树 CART生成算法 分类树 Python实现

前言代码可在Github上下载:代码下载Cart(Classificationandregressiontree)分类与回归树，是一种可以用来分类或者回归（属性可以是连续值，标签必须离散）的决策树（二叉树）。对回归树使用平方误差最小化准则，对分类树使用基尼系数最小化准则。该篇讲述的就是使用基尼系数来构造决策树。算法理论其实CART分类树的生成与决策树的非常类似，决策树ID3,C4.5生成，主要的不
火烫火烫的·2022-12-21 17:04

《统计学习方法》 决策树 ID3和C4.5 生成算法 Python实现

代码可在Github上下载:代码下载前言在博主刚接触编程的时候，曾经想过一个如何实现聊天机器人，当时最直接的想法是打算用if-else来做（事实上真用VB实现了一个简单的以自嗨）。而今天的决策树就是可以视为一种if-else的集合。而决策树的可以用来分类也可以用来完成回归任务。本部分介绍的决策树实现了ID3和C4.5算法。两者算法差别在于一个使用了信息增益一个使用了信息增益比。算法理论定义5.1（
火烫火烫的·2022-12-21 17:33

《统计学习方法》matlab计算决策树信息增益

function[empEnt]=expEnt(A)%计算列向量的经验熵empEnt=0;list=unique(A);l=length(list);fori=1:lLength=length(find(A==list(i)));p=Length/length(A);empEnt=empEnt-p*log2(p);endendfunction[ecEnt]=Ecent(A,B,emEnt)%计算经
、踏莎行·2022-12-21 17:33

统计学习方法 | 决策树

一.一棵有理想的树分类决策树模型是一种描述对实例进行分类的树形结构决策树是通过一系列规则对数据进行分类的过程步骤①构建根节点②选择最优特征，以此分割训练数据集③若子集被基本正确分类，构建叶结点，否则，继续选择新的最优特征④重复以上两步，直到所有训练数据子集被正确分类二.条件概率分布决策树：给定特征条件下类的P(X,Y)条件概率分布：特征空间的一个划分划分：单元或区域互不相交一条路径对应于划分中的一
奔跑的蜗牛君666·2022-12-21 17:02

【统计学习方法】决策树

一、前言决策树是一种基本的回归与分类算法，可以将决策树看作一个if−thenif-thenif−then规则的集合（e.g.内部结点处对特定条件进行判断，为True则访问左子树，反之访问右子树）或者是给定条件下的概率分布（e.g.将特征空间划分为互不相交的单元或者区域，并在每一个单元定义一个类的概率分布就构成一个条件概率分布），其模型呈现树形结构，决策树由结点和有向边组成，其中结点可进一步分为内部
jyyym·2022-12-21 17:02

机器学习数学基础：常见分布与假设检验

机器学习数学基础：常见分布与假设检验所谓机器学习和深度学习，背后的逻辑都是数学，所以数学基础在这个领域非常关键，而统计学又是重中之重，机器学习从某种意义上来说就是一种统计学习。
拒绝气泡·2022-12-20 19:00

【机器学习】白板公式推导-1-书籍&视频

【机器学习】白板公式推导-1-介绍书籍列表频率派-统计机器学习统计学习方法-李航ESL贝叶斯派-概率图模型模式识别与机器学习（PRML）-ChristopherM.BishopMLAPP其他机器学习（西瓜书
暖焱·2022-12-20 17:01

主成分分析（PCA）（principal component analysis）

参考deeplearningbook.org一书2.12Example:PrincipalComponentsAnalysis参考李航统计学习方法第16章主成分分析本文的目录如下：目录用到的知识点PCA
大豆木南·2022-12-20 15:36

统计学中的Bootstrap方法（Bootstrap抽样）

Bootstrap又称自展法、自举法、自助法、靴带法,是统计学习中一种重采样(Resampling)技术，用来估计标准误差、置信区间和偏差Bootstrap是现代统计学较为流行的一种统计方法，在小样本时效果很好
hxxjxw·2022-12-20 12:45

统计学习方法 | 第1章 统计学习方法概论

第1章统计学习方法概论《统计学习方法》Python代码实现【转载自Github开源项目】https://github.com/fengdu78/lihang-code1．统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行分析与预测的一门学科
Dazza Lark·2022-12-20 09:28

统计学习方法概论

1统计学习统计学习的对象：（1）data：计算机及互联网上的各种数字、文字、图像、视频、音频数据以及它们的组合。（2）数据的基本假设是同类数据具有一定的统计规律性。统计学习的目的：用于对数据（
一枝韩独秀·2022-12-20 09:57

统计学习方法- 统计学习方法概论

1.统计学习统计学习是关于计算机数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科，统计学习又称为统计机器学习。它的主要特点包括：统计学习是以计算机和网络为平台，是建立在计算机和网络之上的。
海伦•·2022-12-20 09:25

统计学习方法 | 感知机

感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型一.模型介绍和学习策略1.模型介绍2.几何含义3.学习策略数据集的线性可分性二.梯度下降法1.概念2.算法3.原理三.原始形式首先任意选取一个超平面，然后用梯度下降法不断极小化目标函数在这个过程中一次随机选取一个误分类点使其梯度下
奔跑的蜗牛君666·2022-12-20 09:23

统计学习方法 | K 近邻法

一.简介1.直观理解定义：是一种基本的分类与回归方法主要思想：假定给定一个训练数据集，其中实例标签已定，当输入新的实例时，可以根据其最近的K个训练实例的标签，预测新实例对应的标注信息分类问题：对新的实例，根据与之相邻的K个训练实例的类别，通过多数表决等方式进行预测回归问题：对新的实例，根据与之相邻的K个训练实例的标签，通过均值计算进行预测2.算法3.误差率二.三要素1.模型K近邻法不具有显性的学习
奔跑的蜗牛君666·2022-12-20 09:23

统计学习方法 | 朴素贝叶斯

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y朴素贝叶斯法实现简单，学习和预测的效率都很高，是一种常用的方法朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型一.贝叶斯定理贝叶斯思维：先验概率→调整因子→后验概率1.条件概率2.贝叶斯定理
奔跑的蜗牛君666·2022-12-20 09:23

统计学习方法 李航 课后习题答案 第二版 机器学习

李航《统计学习方法》课后习题答案（第2版）【李航课后习题解答+书中疑点推导+算法代码实现+可私聊耐心解答(48小时内回复)，包会！！】
#苦行僧·2022-12-20 09:50

统计学习方法 | 概论

一.简介统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科1.统计学习方法的步骤①得到一个有限的训练数据集合②确定学习模型的集合（模型）③确定模型选择的准则（策略）④实现求解最优模型的算法
奔跑的蜗牛君666·2022-12-20 09:49

机器学习-07 贝叶斯分类器

7、贝叶斯分类器贝叶斯分类器是一种概率框架下的统计学习分类器，对分类任务而言，假设在相关概率都已知的情况下，贝叶斯分类器考虑如何基于这些概率为样本判定最优的类标。
SUNNY小飞·2022-12-20 08:37

隐马尔可夫模型 (hidden Markov model, HMM)

本文为《统计学习方法》的读书笔记目录隐马尔可夫模型的基本概念隐马尔可夫模型的定义观测序列的生成过程隐马尔可夫模型的3个基本问题概率计算算法直接计算法前向算法(forwardalgorithm)后向算法(
连理o·2022-12-20 07:38

数据挖掘系列（8）朴素贝叶斯分类算法原理与实践

一个简单的例子朴素贝叶斯算法是一个典型的统计学习方法，主要理论基础就是一个贝叶斯公式，贝叶斯公式的基本定义如下：这个公式虽然看上去简单，但它却能总结历史，预知未来。
youbo_sun·2022-12-19 23:39

统计学习--三种常见的相关系数以及python计算

统计学习–相关系数及其适用范围1）Pearson积差相关系数：用于量度两个变量X和Y之间的线性相关。它具有+1和-1之间的值，其中1是总正线性相关性，0是非线性相关性，并且-1是总负线性相关性。
weixin_44222183·2022-12-19 15:53

机器学习——（1）

参考书籍机器学习，周志华，清华大学出版社，2016统计学习方法，李航，清华大学出版社，2012DeepLearning,I.Goodfellow,Y.BengioandA.Courville,2016课程推荐
Sky_177·2022-12-19 09:54

TransE

为了发挥知识库的图（graph）性，也为了得到统计学习（包括机器学习和深度学习）的优势，我们需要将
一千克欣喜·2022-12-19 06:35

重要性采样(importance sampling)

重要性采样是统计学习中一种常用的方法。在强化学习中通常和蒙特卡洛方法结合使用。重要性采样是，使用另外一种分布来逼近所求分布一种方法。
geter_CS·2022-12-19 00:28

隐马尔可夫模型最详细讲解 HMM(Hidden Markov Model)

www.bilibili.com/video/BV1BW411P7gV悉尼科大徐亦达https://www.bilibili.com/video/BV1MW41167Rfshuhuai大神如果是喜欢看书的，请参考李航老师《统计学习方法
BruceJust·2022-12-18 16:19

机器学习-白板推导系列(十四)-隐马尔科夫(HMM，Hidden Markov Model)

频率派频率派的思想就衍生出了统计学习方法，统计学习方法的重点在于优化，找lossfunction。
Paul-Huang·2022-12-18 16:45

用R实现SVM

统计学习的目标从经验风险最小化变为了寻求经验风险与置信风险之和最小化，即结构风险最小化。
何国庆·2022-12-17 23:54
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他