李航统计学习

统计学习（五）：线性模型选择与正则化

文章目录线性模型选择与正则化子集选择最优子集选择逐步选择向前逐步选择向后逐步选择混合方法选择最优模型C~p~，AIC，BIC与调整R^2^验证与交叉验证压缩估计方法岭回归lasso岭回归和lasso的其他形式对比lasso与岭回归岭回归和lasso的贝叶斯解释选择调节参数降维方法主成分回归主成分分析（PCA）主成分回归方法（PCR）偏最小二乘线性模型选择与正则化线性模型Y=β0+β1X1+⋯+βp
梅九九·2022-12-27 19:12

机器学习与优化论专业读本

自2013年起间歇性读过以下专业读本，大部分内容已读过一遍，少量读过2-3遍，略以记录.1.统计学习方法（第一版、第二版李航著）2.机器学习（周志华）3.PRML（Pattern-Recognition-and-Machine-Learning
scott198510·2022-12-27 15:10

第二次作业：深度学习基础

#关于推荐的书籍虽然西瓜书的名气最大，但是这本书我实际看下来不适合做教材，另一本李航的书更好些，至少每个算法都会给你例子，但是里面的数学定义太复杂，得配合视频看下去，b站上的视频唯一有价值的就是吴恩达的视频
ekkoalex·2022-12-27 14:54

机器学习笔记之基础回归问题

前言本文参考了《机器学习》周志华著中的3.2节中的线性回归内容和《统计学习方法》李航著的6.1节中的逻辑回归内容，并结合逻辑回归两个实验进行总结。线性模型什么是线性模型呢？
达不溜溜球·2022-12-27 11:37

图解深度学习-神经网络

深度学习深度学习是一种统计学习方法，可以在大量数据中自动提取关键特征信息。深度学习的分类深度学习的起源有感知器和基于图模型的玻尔兹曼机。在这两个的基础上引入多层结构形成了现在的深度学习。
南妮儿·2022-12-27 06:56

机器学习之概率图模型

《统计学习方法》例10.2python代码1.2.2.状态序列预测问题算法1.2.2.1.直接暴力计算法1.2.2.2.Viterbi算法1.3
lankuohsing·2022-12-26 22:05

李航统计学习方法----感知机章节学习笔记以及python代码

目录1感知机模型2感知机学习策略2.1数据集的线性可分性2.2感知机学习策略3感知机学习算法3.1感知机学习算法的原始形式3.2感知机算法的对偶形式4感知机算法python代码感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值．感知机对应于输入空间（特征空间〉中将实例划分为正负两类的分离超平面，属于判别模型．感知机学习旨在求出将训练数
詹sir的BLOG·2022-12-26 12:09

机器学习笔记（十）-支持向量机（SVM）

本次学习笔记主要记录学习机器学习时的各种记录，包括吴恩达老师视频学习、李宏毅老师视频学习、周志华老师的《机器学习》（西瓜书）以及李航老师的《统计学习方法》。
997and·2022-12-26 09:45

统计学习方法超详细学习笔记-第五章 决策树

第五章决策树决策树(decisiontree)种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行
xingS1992·2022-12-26 04:20

机器学习之感知机模型

机器学习之感知机模型写在前面感知机模型的初步理解自我理解感知机模型建立对偶形式写在前面这部分主要是基于李航老师的《统计学习方法》以及参考部分博客完成，写出来让自己更好理解。
cug_humoumou·2022-12-24 17:39

基于统计学习---面向新闻的发生地与提及地检测

基于统计学习---面向新闻的发生地与提及地检测一、摘要二、流程2.1-数据构建及数据预处理2.2-全国5级地址实体二叉树2.3-命名实体识别相关算法2.4-新闻中特征信息分析2.5-基于多个特征融合设计权重公式三
师父我坚持不住了·2022-12-24 13:31

【白话机器学习】算法理论+实战之K-Means聚类算法

常见的机器学习算法：监督学习算法：逻辑回归，线性回归，决策树，朴素贝叶斯，K近邻，支持向量机，集成算法Adaboost等无监督算法：聚类，降维，关联规则,PageRank等为了详细的理解这些原理，曾经看过西瓜书，统计学习方法
算法channel·2022-12-24 11:04

【机器学习】Adaboost、GBDT、XGBoost算法原理解析

GBDT和XGBoost《统计学习方法》与《机器学习》这两本书中都没有涉及，但是看别人在牛客网上的面经分享都有提到，其实这两个算法主要在竞赛中经常被用到，因此还是有必要了解一下。
秋天的波·2022-12-24 10:58

决策树与随机森林

2.生成（步骤和公式的话，《统计学习方法》讲的很清楚）决策树学习采用自顶向下的递归方法，以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的
JNYxiaocao·2022-12-24 08:59

SVM(6)——序列最小最优化算法(SMO)代码

一、代码根据李航统计学习方法第一版的公式进行编写，与sklearn的svm进行对比importnumpyasnpfromsklearnimportdatasetsfromsklearn.model_selectionimporttrain_test
嘻哈过路人·2022-12-23 13:12

人工智能算法（1）感知机原理及代码实现（C#）

统计学习方法|感知机原理剖析及实现对感知机的讲解很直观。例如有一堆零件，每个零件有重量、长度等。
长安山南君·2022-12-23 10:50

《西瓜书》学习笔记-目录

《机器学习》，即西瓜书是机器学习的入门书籍，也是比较完整的书，此笔记是通读西瓜书后，对于重要知识点进行总结和完善，对于一些公式进行了完整的推导后的学习笔记，同时也参考了李航老师的《统计学习方法》，还有很多其他老师的博客共同所得
ruoqi23·2022-12-23 10:00

机器学习——1.机器学习绪论

文章目录1.统计学习，机器学习1.1相关定义1.2.三要素1.3实现步骤2.基本术语与概念2.1机器学习的方法分类2.2数据集（dataset）2.3假设空间2.3.1概念学习2.3.2布尔概念学习2.3.3
大墅哥哥·2022-12-23 01:58

贝叶斯分类器

贝叶斯分类器贝叶斯分类器是一种概率框架下的统计学习分类器，对于分类任务而言，假设在相关概率都已经知道的情况下，贝叶斯分类器考虑如何基于这些概率为样本判定最优的类标，在开始介绍贝叶斯决策论之前，我们首先回顾下概率论委员会常委
big_matster·2022-12-22 18:20

机器学习 | 逻辑回归与最大熵模型理论知识（一）

逻辑回归是统计学习中的经典分类方法，最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型。逻辑回归模型与最大熵模型都属于对数线性模型。今天，我们先来学习逻辑回归模型。
IT农民工1·2022-12-22 16:14

机器学习之最大熵模型

最大熵模型的详细推导（参考李航老师机器学习）1.最大熵的原理2.最大熵模型的定义3.最大熵模型的学习3.1转换为对偶问题4.最大熵模型的极大似然估计5.参考文献1.最大熵的原理最大熵的原理是概率模型学习的一个准则
qq_32067123·2022-12-22 16:40

机器学习 | 最大熵模型

2.3.3最大熵模型的表示2.3.4最大熵模型的学习3最大熵模型的应用场景4模型优缺点4.1优点4.2缺点参考1前言继续梳理李航老师《统计学习方法》的章节内容，今天我们一起来看一看啥叫最大熵模型？
写代码的阿呆·2022-12-22 16:09

独家 | 计算学习理论简介（附资源推荐）

计算学习理论，或者说统计学习理论，指的是量化学习任务和算法的数学框架。对于机器学习领域的实践者来说，想找到大多数问题的优质解决方案，并不需要深度了解这些机器学习的子领域。尽管如此，在子领域
数据派THU·2022-12-22 12:10

数据挖掘算法学习及应用场景

常用的数据挖掘算法及其应用场景参考了许多资料加上个人理解，对十大算法进行如下分类：•分类算法：C4.5,CART,Adaboost,NaiveBayes,KNN,SVM•聚类算法：KMeans•统计学习
无人不智能，机器不学习·2022-12-22 11:22

周志华机器学习：决策树

决策树文章目录决策树参考基本流程划分选择信息增益决策树的生成——ID3，及其问题增益率决策树生成——C4.5，及其问题剪枝处理预剪枝和后剪枝统计学习方法中的剪枝CART算法（统计学习方法80）CART回归树
椰子奶糖·2022-12-21 21:13

从感知机到深度学习发展史

Blessy_Zhuhttps://blog.csdn.net/weixin_42555080一从机器学习到深度学习我们知道，MachineLearning分为两大派别：频率派和贝叶斯派；前者逐渐发展为统计学习
Blessy_Zhu·2022-12-21 19:00

边缘云服务提供商[网心科技]，加入深圳市软件行业协会“理事单位”

日前，深圳市软件行业协会（以下简称：软协）名誉会长邓爱国、副秘书长肖庆新、李航等到访网心科技，并现场授予“理事单位”牌匾。迅雷集团高级副总裁马婷代表网心科技热情接待了软协一行。
网心科技·2022-12-21 17:15

李航统计学习方法-决策树

决策树决策树（decisiontree）是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分
JohnBanana·2022-12-21 17:06

(5) 李航《统计学习方法》基于Python实现——决策树

决策树模型决策树是一种基本的分类和回归方法，本文主要讨论用户分类的决策树。决策树模型呈现树桩结构，在分类问题中，它表示基于特征对实例进行分类的过程。它可以认为是if-then的规则的集合也可以认为是定义在特征空间与类空间上的条件概率分布。决策树学习通常包括3个步骤：特征选择，决策树的生成和决策树的修剪。优点：模型具有可读性，解释性较强，分类速度快，准确性高，可以处理连续和种类字段，不需要任何领域知
奥卡姆的剃刀·2022-12-21 17:06

NLP入门｜《统计学习方法》学习（五）｜决策树/剪枝/ID3&C4.5&CART算法

导读马上开启第五章决策树部分内容的学习，预计用时2-3天～声明：以下截图来自书本以及b站课程（up主：简博士）。一、决策树1.介绍分类决策树模型是一种描述对实例进行分类的树形结构。2.组成1）决策树由结点和有向边构成，结点又可以分为内部结点和叶结点。2）其中内部结点表示特征或者属性，而叶结点表示类别。最上端的内部结点也叫做根结点。3.If-Then规则1）决策树是通过一系列规则对数据进行分类的过程
尚小雨雨·2022-12-21 17:35

统计学习方法决策树

决策树（decisiontree）是一种基本的分类与回归方法。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分类。决策树学习通常包括3个步骤：特征
一枝韩独秀·2022-12-21 17:04

【统计学习方法】 决策树 CART生成算法 分类树 Python实现

前言代码可在Github上下载:代码下载Cart(Classificationandregressiontree)分类与回归树，是一种可以用来分类或者回归（属性可以是连续值，标签必须离散）的决策树（二叉树）。对回归树使用平方误差最小化准则，对分类树使用基尼系数最小化准则。该篇讲述的就是使用基尼系数来构造决策树。算法理论其实CART分类树的生成与决策树的非常类似，决策树ID3,C4.5生成，主要的不
火烫火烫的·2022-12-21 17:04

《统计学习方法》 决策树 ID3和C4.5 生成算法 Python实现

代码可在Github上下载:代码下载前言在博主刚接触编程的时候，曾经想过一个如何实现聊天机器人，当时最直接的想法是打算用if-else来做（事实上真用VB实现了一个简单的以自嗨）。而今天的决策树就是可以视为一种if-else的集合。而决策树的可以用来分类也可以用来完成回归任务。本部分介绍的决策树实现了ID3和C4.5算法。两者算法差别在于一个使用了信息增益一个使用了信息增益比。算法理论定义5.1（
火烫火烫的·2022-12-21 17:33

《统计学习方法》matlab计算决策树信息增益

function[empEnt]=expEnt(A)%计算列向量的经验熵empEnt=0;list=unique(A);l=length(list);fori=1:lLength=length(find(A==list(i)));p=Length/length(A);empEnt=empEnt-p*log2(p);endendfunction[ecEnt]=Ecent(A,B,emEnt)%计算经
、踏莎行·2022-12-21 17:33

统计学习方法 | 决策树

一.一棵有理想的树分类决策树模型是一种描述对实例进行分类的树形结构决策树是通过一系列规则对数据进行分类的过程步骤①构建根节点②选择最优特征，以此分割训练数据集③若子集被基本正确分类，构建叶结点，否则，继续选择新的最优特征④重复以上两步，直到所有训练数据子集被正确分类二.条件概率分布决策树：给定特征条件下类的P(X,Y)条件概率分布：特征空间的一个划分划分：单元或区域互不相交一条路径对应于划分中的一
奔跑的蜗牛君666·2022-12-21 17:02

【统计学习方法】决策树

一、前言决策树是一种基本的回归与分类算法，可以将决策树看作一个if−thenif-thenif−then规则的集合（e.g.内部结点处对特定条件进行判断，为True则访问左子树，反之访问右子树）或者是给定条件下的概率分布（e.g.将特征空间划分为互不相交的单元或者区域，并在每一个单元定义一个类的概率分布就构成一个条件概率分布），其模型呈现树形结构，决策树由结点和有向边组成，其中结点可进一步分为内部
jyyym·2022-12-21 17:02

机器学习数学基础：常见分布与假设检验

机器学习数学基础：常见分布与假设检验所谓机器学习和深度学习，背后的逻辑都是数学，所以数学基础在这个领域非常关键，而统计学又是重中之重，机器学习从某种意义上来说就是一种统计学习。
拒绝气泡·2022-12-20 19:00

【机器学习】白板公式推导-1-书籍&视频

【机器学习】白板公式推导-1-介绍书籍列表频率派-统计机器学习统计学习方法-李航ESL贝叶斯派-概率图模型模式识别与机器学习（PRML）-ChristopherM.BishopMLAPP其他机器学习（西瓜书
暖焱·2022-12-20 17:01

主成分分析（PCA）（principal component analysis）

参考deeplearningbook.org一书2.12Example:PrincipalComponentsAnalysis参考李航统计学习方法第16章主成分分析本文的目录如下：目录用到的知识点PCA
大豆木南·2022-12-20 15:36

统计学中的Bootstrap方法（Bootstrap抽样）

Bootstrap又称自展法、自举法、自助法、靴带法,是统计学习中一种重采样(Resampling)技术，用来估计标准误差、置信区间和偏差Bootstrap是现代统计学较为流行的一种统计方法，在小样本时效果很好
hxxjxw·2022-12-20 12:45

统计学习方法 | 第1章 统计学习方法概论

第1章统计学习方法概论《统计学习方法》Python代码实现【转载自Github开源项目】https://github.com/fengdu78/lihang-code1．统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行分析与预测的一门学科
Dazza Lark·2022-12-20 09:28

统计学习方法概论

也是好久没更新了，前面项目基础开发的工作已经基本完结，但又给了我两个任务，一个是做一个QA系统，一个是做一个推荐系统，想想我是基本不会啊，于是只是学呗，网上找了一些资料，人家说先看李航老师的书，于是做个笔记
一枝韩独秀·2022-12-20 09:57

统计学习方法- 统计学习方法概论

1.统计学习统计学习是关于计算机数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科，统计学习又称为统计机器学习。它的主要特点包括：统计学习是以计算机和网络为平台，是建立在计算机和网络之上的。
海伦•·2022-12-20 09:25

统计学习方法 | 感知机

感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型一.模型介绍和学习策略1.模型介绍2.几何含义3.学习策略数据集的线性可分性二.梯度下降法1.概念2.算法3.原理三.原始形式首先任意选取一个超平面，然后用梯度下降法不断极小化目标函数在这个过程中一次随机选取一个误分类点使其梯度下
奔跑的蜗牛君666·2022-12-20 09:23

统计学习方法 | K 近邻法

一.简介1.直观理解定义：是一种基本的分类与回归方法主要思想：假定给定一个训练数据集，其中实例标签已定，当输入新的实例时，可以根据其最近的K个训练实例的标签，预测新实例对应的标注信息分类问题：对新的实例，根据与之相邻的K个训练实例的类别，通过多数表决等方式进行预测回归问题：对新的实例，根据与之相邻的K个训练实例的标签，通过均值计算进行预测2.算法3.误差率二.三要素1.模型K近邻法不具有显性的学习
奔跑的蜗牛君666·2022-12-20 09:23

统计学习方法 | 朴素贝叶斯

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y朴素贝叶斯法实现简单，学习和预测的效率都很高，是一种常用的方法朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型一.贝叶斯定理贝叶斯思维：先验概率→调整因子→后验概率1.条件概率2.贝叶斯定理
奔跑的蜗牛君666·2022-12-20 09:23

统计学习方法 李航 课后习题答案 第二版 机器学习

李航《统计学习方法》课后习题答案（第2版）【李航课后习题解答+书中疑点推导+算法代码实现+可私聊耐心解答(48小时内回复)，包会！！】
#苦行僧·2022-12-20 09:50

统计学习方法 | 概论

一.简介统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科1.统计学习方法的步骤①得到一个有限的训练数据集合②确定学习模型的集合（模型）③确定模型选择的准则（策略）④实现求解最优模型的算法
奔跑的蜗牛君666·2022-12-20 09:49

机器学习-07 贝叶斯分类器

7、贝叶斯分类器贝叶斯分类器是一种概率框架下的统计学习分类器，对分类任务而言，假设在相关概率都已知的情况下，贝叶斯分类器考虑如何基于这些概率为样本判定最优的类标。
SUNNY小飞·2022-12-20 08:37

隐马尔可夫模型 (hidden Markov model, HMM)

本文为《统计学习方法》的读书笔记目录隐马尔可夫模型的基本概念隐马尔可夫模型的定义观测序列的生成过程隐马尔可夫模型的3个基本问题概率计算算法直接计算法前向算法(forwardalgorithm)后向算法(
连理o·2022-12-20 07:38
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他