统计学习方法_李航

统计学习方法——（第七章）支持向量机详解与推导

一、知识梳理二、支持向量机1、原理SVM作为传统机器学习的一个非常重要的分类算法，它是一种通用的前馈网络类型，最早是由VladimirN.Vapnik和Alexey在1963年提出，目前的版本是CorinnaCortes和Vapnik在1993年提出，1995年发表。深度学习（2012）出现之前，SVM被认为是机器学习中近十几年最成功表现最好的算法。支持向量机（supportvectormachi
我学数学我骄傲·2022-11-26 14:50

机器学习（周志华、李航）：决策树——算法原理及代码实现（持续更新）

文章目录4.1基本流程决策树与条件概率分布决策树学习4.2划分（特征）选择4.2.1信息增益李书示例周书示例4.2.2增益率4.2.3基尼指数4.3剪枝处理4.3.1预剪枝4.3.2后剪枝4.4连续与缺失值4.4.1连续值处理4.4.2缺失值处理确定划分属性操作4.5多变量决策树4.6CART算法4.6.1CART生成1.回归树生成2.分类树生成4.6.2CART剪枝代码实现4.1基本流程决策树（
阅读文献自力更生·2022-11-26 10:33

《机器学习方法（第三版）—— 李航》学习笔记（四）

目录第六章逻辑斯谛回归与最大熵模型第九章EM算法及其推广第十章隐马尔可夫模型第十一章条件随机场提示：监督学习后几章概念性和推理较多，就不大量抄概念了。。。第六章逻辑斯谛回归与最大熵模型1、逻辑斯谛回归模型是由以下条件概率分布表示的分类模型，可以用于二类或多类分类。这里，x为输入特征，w为特征权值。逻辑斯蒂回归模型源自逻辑斯谛分布，其分布函数F(x)是S形函数。逻辑斯谛回归模型是由输入的线性函数表示
HitStuHan·2022-11-26 07:18

统计学习方法读书笔记15-逻辑斯蒂回归习题

文章目录1.课后习题2.视频课后习题1.课后习题importnumpyasnpimporttimeimportmatplotlib.pyplotaspltfrommpl_toolkits.mplot3dimportAxes3Dfrompylabimportmpl#图像显示中文mpl.rcParams['font.sans-serif']=['MicrosoftYaHei']classLogisti
哎呦-_-不错·2022-11-26 02:56

用python写梯度下降算法实现逻辑斯蒂回归

1.logistic的理论基础可参考网上一位大佬写的李航的《统计学习方法》笔记pdf笔记文档链接：链接：https://pan.baidu.com/s/1Gee9aOdNvemy5K6co1daZg提取码
melicent114·2022-11-26 02:52

逻辑斯蒂回归模型——逻辑斯蒂分布、二项逻辑斯蒂回归模型、参数估计与多项逻辑斯蒂回归

本笔记整理自李航老师《统计学习方法》第二版第六章逻辑斯蒂回归是统计学习中经典的分类方法。
如化雨·2022-11-26 02:44

机器学习之树形算法(一)：决策树

目录一、决策树介绍二、决策树特征选择三、决策树的生成四、决策树的剪枝五、CART算法总结参考资料：《统计学习方法》李航一、决策树介绍目前最流行的一类机器学习算法是树形算法（决策树、随机森林、GBDT、XGBoost
大哇唧·2022-11-25 21:08

（四）决策树与python代码实现ID3算法

李航老师《统计学习方法》第二版学习笔记知识点：决策树是一种基本的分类与回归方法，是基于树结构来进行决策的根据损失函数最小化的原则建立决策树模型决策树内部节点表示一个特征或属性，叶节点表示一个类决策树可以看成
十二十二呀·2022-11-25 17:41

我们追求的泛化，竟是一条死路？

文|鹰钩鼻涕虫从我们刚刚接触统计学习方法开始，想必就一直在接受一个思想：相比符号算法，统计模型最重要的能力之一，即是它的泛化能力。
夕小瑶·2022-11-25 15:20

统计学习方法(李航) 支持向量机 附python及sklearn实现

支持向量机有监督学习分类问题VapnikVapnikVapnik线性可分支持向量机/线性支持向量机/非线性支持向量机什么是支持向量机呢？SupportVectorMachineSupport\spaceVector\spaceMachineSupportVectorMachine：支持向量机先抛出难懂的定义～可以先跳过，最后再来回顾定义：支持向量机的基本模型是定义在特征空间上的间隔最大的线性分类器
tsuiraku·2022-11-25 07:09

支持向量机SVM（包括线性核、多项式核、高斯核）python手写实现+代码框架说明

支持向量机SVM（包括线性核、多项式核、高斯核）python手写实现理论理论参考《统计学习方法》Chapter.7支持向量机（SVM）完整代码见github仓库：https://github.com/wjtgoo
taotaoiit·2022-11-25 07:36

电信保温杯笔记——《统计学习方法（第二版）——李航》第19章 马尔可夫链蒙特卡罗法

电信保温杯笔记——《统计学习方法（第二版）——李航》第19章马尔可夫链蒙特卡罗法论文介绍逆变换采样蒙特卡罗法随机抽样接受拒绝采样法步骤特点求解某种随机分布的特征数数学期望估计积分计算例题1例题2马尔可夫链定义离散状态马尔可夫链转移概率矩阵和状态分布例题平稳分布例题
电信保温杯·2022-11-25 02:09

电信保温杯笔记——《统计学习方法（第二版）——李航》第17章 潜在语义分析

电信保温杯笔记——《统计学习方法（第二版）——李航》第17章潜在语义分析论文介绍单词向量空间话题向量空间话题向量空间文本在话题向量空间的表示从单词向量空间到话题向量空间的线性变换潜在语义分析算法矩阵奇异值分解算法步骤
电信保温杯·2022-11-25 02:38

电信保温杯笔记——《统计学习方法（第二版）——李航》第18章 概率潜在语义分析

电信保温杯笔记——《统计学习方法（第二版）——李航》第18章概率潜在语义分析论文介绍基本想法模型生成式模型共现模型文本、话题、单词之间的关系几何解释与潜在语义分析的关系算法步骤本章概要相关视频相关的笔记相关代码论文介绍电信保温杯笔记
电信保温杯·2022-11-25 02:38

当我们谈数据分析时，到底在谈什么？

——《统计学习方法》1个标准流程业务理解确定数据挖掘目标、制定项目计划。数据理解收集原始数据、描述数据、探索数据、检验数据质量
媚婉兰君·2022-11-25 00:04

KNN算法python实现

内容参考了某_统计学习方法_。KNN算法的主要实现步骤：计算测试数据与各训练数据之间的距离。按照距离的大小进行排序。选择其中距离最小的k个样本点。确定K个样本点所在类别的出现频率。
ZZZZ_ccc·2022-11-24 13:21

机器学习基础——损失函数与风险函数

参考自李航《统计学习方法》。损失函数损失函数(lossfunction)用来预测模型单次预测的好坏，即模型的预测值f(X)和真实值Y之间的差别，记作L(Y,f(x))。
本初-ben·2022-11-24 07:15

机器学习系列（4）：决策树

本文结合李航博士的《统计学习方法》与周志华老师的《机器学习》决策树部分，《统计学习方法》重理论的证明推导，《机器学习》注重讲解算法的特点与扩展。
Wwwwhy_　·2022-11-24 01:58

NLP小白自学日记——《统计学习方法》（持续更新）

阅读目录监督学习第1章统计学习及监督学习概论1.2统计学习的分类1.3统计学习方法三要素1.4模型评估与模型选择1.5正则化和交叉验证1.6泛化能力1.7生成模型与判别模型1.8监督学习应用个人总结第2
小小小书柜·2022-11-23 16:28

数据挖掘-朴素贝叶斯算法的R实现

基础知识来自教材：李航的《统计学习方法》本人小白，仍在不断学习中，有错误的地方恳请大佬指出，谢谢！
Rr-7·2022-11-23 15:43

统计学习方法 5 - 决策树

决策树：判别模型问题描述：假设要对一批样本分K类。其中这些样本又有A个特征。如何生成一个树形结构，按照特征一层一层往下分。决策树生成思路：有A个特征可供分类，但是先选哪个特征作为分类标准呢？决策树为了解决这个问题，首先会判断该特征的对样本的区分能力，比如在男宿舍这样一个条件下判断谁有ipad，如果用性别作为一个特征来判断分类，收益很小；如果我们用生活费多少来判断，那么对这个分类就有很大的帮助。决策
周某1111·2022-11-23 13:10

统计机器学习方法 for NLP：基于LSA的主题模型

前言最近在重刷李航老师的《统计机器学习方法》尝试将其与NLP结合，通过具体的NLP应用场景，强化对书中公式的理解，最终形成「统计机器学习方法forNLP」的系列。
nghuyong·2022-11-23 07:32

李航博士《统计学习方法》第一章课后习题参考答案

1.1说明伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素。伯努利模型是定义在取值为0与1的随机变量上的概率分布。
Siyu_Zhu·2022-11-23 00:33

李航 统计学习方法 第二版 课后习题答案

第一章第二章1第二章2第三章第四章1第四章2第五章1第五章2第六章第七章1第七章2
Fancy Wang·2022-11-23 00:00

李航 统计学习方法 课后习题答案 第二版 机器学习

李航《统计学习方法》课后习题答案（第2版）【李航课后习题解答+书中疑点推导+算法代码实现+可私聊耐心解答(48小时内回复)，包会！！】
#苦行僧·2022-11-23 00:49

统计机器学习方法 for NLP：基于HMM的词性标注

前言最近在重刷李航老师的《统计机器学习方法》尝试将其与NLP结合，通过具体的NLP应用场景，强化对书中公式的理解，最终形成「统计机器学习方法forNLP」的系列。
nghuyong·2022-11-22 23:29

统计机器学习方法 for NLP：基于LDA的主题模型

前言最近在重刷李航老师的《统计机器学习方法》尝试将其与NLP结合，通过具体的NLP应用场景，强化对书中公式的理解，最终形成「统计机器学习方法forNLP」的系列。
nghuyong·2022-11-22 23:52

一文读懂决策树剪枝

本文主要依据周志华的《机器学习》和李航的《统计学习方法》。
xisi克利夫·2022-11-22 22:33

【白话机器学习】算法理论+实战之PCA降维

常见的机器学习算法：监督学习算法：逻辑回归，线性回归，决策树，朴素贝叶斯，K近邻，支持向量机，集成算法Adaboost等无监督算法：聚类，降维，关联规则,PageRank等为了详细的理解这些原理，曾经看过西瓜书，统计学习方法
文文学霸·2022-11-22 21:56

朴素贝叶斯先验概率公式推导

2.先验概率P(Y=Ck)公式推导先贴上李航书上的公式：其中：I是指示函数，当yi=ck时，返回1，否则返回0。比如有4个y值分别是y1=1,y
账户不存在·2022-11-22 19:56

《统计学习方法》极简笔记P4：朴素贝叶斯公式推导

《统计学习方法》极简笔记P4：朴素贝叶斯公式推导朴素贝叶斯基本方法通过训练数据集T={(x_1,y_1),(x_2,y_2),(x_N,y_N)...,(x_1,y_1)}学习联合概率分布P(X,Y)，
机器学习算法与Python实战·2022-11-22 19:43

统计学习方法第四章 朴素贝叶斯法公式推导

文章目录第四章朴素贝叶斯法朴素贝叶斯法的学习与分类后验概率最大化朴素贝叶斯的参数估计朴素贝叶斯算法流程第四章朴素贝叶斯法基于贝叶斯定理和特征条件独立假设的分类方法朴素贝叶斯法与贝叶斯估计是不同的概念生成模型与判别模型{生成模型：P(Y∣X)=P(X,Y)P(X)X,Y为随机变量判别模型：Y=f(X),P(Y∣X)\left\{\begin{aligned}&\text{生成模型}：P(Y|X)=\
亲持红叶·2022-11-22 19:13

python朴素贝叶斯分布对数据的要求_统计学习方法与Python实现（三）——朴素贝叶斯法...

统计学习方法与Python实现(三)——朴素贝叶斯法1、定义朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布。
weixin_39661129·2022-11-22 18:24

统计学习方法——3. 朴素贝叶斯法（Naive Bayes, NB）

一、简介朴素贝叶斯用于解决分类问题。“朴素”：假设各个特征之间相互条件独立。朴素贝叶斯中有多概率连乘，所以为使得每一项不为0，引出了贝叶斯估计和拉普拉斯平滑。使用贝叶斯估计保证了所有连乘项概率大于0。连乘项范围均在0~1之间，会导致越乘越小，所以需要取对数。1.概率概念补充：概率是已知模型和参数，推数据。统计是已知数据，推模型和参数。似然函数：对于P(x∣θ)P(x|\theta)P(x∣θ)，x
要坚持写博客呀·2022-11-22 18:23

【李航统计学习笔记】第四章：朴素贝叶斯

（尾巴：补充一些例子）4.1直观理解条件概率例子4.1：女朋友和妈妈掉河里了，路人拿出来3颗豆,两颗红豆1颗绿豆。如果我抽中红豆救女朋友,抽中绿豆救妈妈。我和路人各自抽了一颗,路人发现自己抽中的是绿豆，他想用剩下的那颗和我换，我换不换？换不换豆女朋友活下去的概率一样吗？直觉来讲：换不换豆我抽中红豆的概率应该都是1/31/31/3。这时路人跟我说他的是绿豆,排除一颗,我抽中红豆的概率是1/21/21
西风瘦马1912·2022-11-22 18:23

《统计学习方法》极简笔记P4：朴素贝叶斯公式推导

朴素贝叶斯基本方法通过训练数据集T={(x1,y1),(x2,y2),(xN,yN)...,(x1,y1)}T=\{(x_1,y_1),(x_2,y_2),(x_N,y_N)...,(x_1,y_1)\}T={(x1,y1),(x2,y2),(xN,yN)...,(x1,y1)}学习联合概率分布P(X,Y)，即学习先验概率分布P(Y=ck),P(Y=c_k),P(Y=ck),条件概率分布P(X=x
机器学习算法与Python实战·2022-11-22 18:45

《机器学习实战》笔记——第四章：基于概率论的分类方法：朴素贝叶斯

1说明该书主要以原理简介+项目实战为主，本人学习的主要目的是为了结合李航老师的《统计学习方法》以及周志华老师的西瓜书的理论进行学习，从而走上机器学习的“不归路”。
圣西罗风之子·2022-11-22 15:53

感知器的笔记（统计学习方法）

https://pan.baidu.com/s/1Z8BYJ92LrnAYHY7TGChImg感知器对偶形式还没有写，有时间补充上去
Matrixart·2022-11-22 15:20

机器学习之决策树01

最近学习了唐宇迪老师关于决策树算法视频，感觉看了老师的视频，再结合李航老师《统计学习方法》书上的内容，还是能够有所理解的。一，决策树可以将决策树看成一个if-then规则的集合。
邵楷·2022-11-22 02:27

《统计学习方法》Chapter.7 支持向量机（SVM）

支持向量机支持向量机是二分类模型，与感知机思想类似，都是寻找一条分离超平面能够将数据分成两类，在线性可分数据集中，这种分离超平面有无数条，感知机只要求能够从无数条分离超平面中找到一条，而支持向量机要求能够从无数种分离超平面中找到“最优”的那一条。支持向量机可以根据数据的分布从简单模型推广到复杂模型：当数据集线性可分时，利用最简单的线性可分支持向量机即可；当数据集线性不可分，但是近似线性可分，就引出
taotaoiit·2022-11-21 23:52

在计算机视觉方向如何快速提升自己?

如周志华老师的《机器学习》、李航老师的《统计学习方法》、《机器学习实践》、吴恩达老师的cs229、李宏毅老师的机器学习视频（B站就有
小白学视觉·2022-11-21 16:24

统计学习方法|朴素贝叶斯原理剖析及实现

原始blog链接：http://www.pkudodo.com/2018/11/21/1-3/前言《统计学习方法》一书在前几天正式看完，由于这本书在一定程度上对于初学者是有一些难度的，趁着热乎劲把自己走过的弯路都写出来
Dod_o_·2022-11-21 13:16

统计学习方法笔记（李航）———第四章（朴素贝叶斯法）

推荐阅读：小白之通俗易懂的贝叶斯定理（Bayes’Theorem）朴素贝叶斯法是一种多分类算法，它的基础是“朴素贝叶斯假设”（假设实例的各个特征具有条件独立性）。根据训练集估计模型的先验概率、条件概率，再按照后验概率最大化的准则，给出输入实例的分类预测。它的算法实现很简单，但理论证明并不容易。具体来说，通过极大似然估计法估计先验概率、条件概率，计算过程比较复杂，书上也没有给出。本章主要分为3个部分
越前浩波·2022-11-21 10:01

李航 统计学习方法 课后习题答案 第二版 机器学习

李航《统计学习方法》课后习题答案（第2版）【李航课后习题解答+书中疑点推导+算法代码实现+可私聊耐心解答(定期回复)，包会！！】
#苦行僧·2022-11-21 10:30

李航《统计学习方法》第二版-第四章 朴素贝叶斯

本来分为很多维度，互相有联系，利用贝叶斯变为相乘的形式，只需考虑当前维度和Y的关系，直接用频率就可数出。朴素：意味着做出了条件独立性的假设，但条件不可能都是独立的分母为分类讨论，分类讨论在求和要输出哪一种类别输出条件概率最大，为生成模式判别模型根据两者之间的差别，不需每个分别建立模型4.2.3贝叶斯估计sj如果取晴天、雨天、刮风，就取3，可能取值分子加，分子加k次，因此分母必须加K，才能使结果保持
so_kind·2022-11-21 10:26

统计学习方法--朴素贝叶斯法

与公众号同步更新，详细内容及相关ipynb文件在公众号中，公众号：AI入门小白补充：对于统计学习方法的第一章节的部分概念和数学公式已放置到公众号中，需要的朋友可直接去公众号中下载文章目录朴素贝叶斯法的学习与分类基本方法后验概率最大化的含义朴素贝叶斯法的参数估计极大似然估计学习与分类算法贝叶斯估计代码部分数据准备
三维虫子·2022-11-21 10:54

《统计学习方法》手撕决策树ID3，C4.5

废话不多说，直接上代码详细原理见《统计学习方法》第五章决策树总结importnumpyasnpclassDecisionTree(object):def__init__(self,tree_type):
Hilbob·2022-11-21 10:53

学习笔记-《统计学习方法》-第四章-朴素贝叶斯

4朴素贝叶斯4.1.1朴素贝叶斯的学习与分类设输入空间X⊆Rn\mathcal{X}\subseteqR^nX⊆Rn为nnn维向量的集合，输出空间为类标记集合Y={c1,c2,...,ck}\mathcal{Y}=\{c_1,c_2,...,c_k\}Y={c1,c2,...,ck}。输入为特征向量x∈Xx\in\mathcal{X}x∈X，输出为类标记（classlabel）y∈Yy\in\ma
zoro-zhao·2022-11-21 10:52

《统计学习方法》第四章——朴素贝叶斯 python实现

importnumpyasnpfromcollectionsimportCounterdata=[[1,'S',-1],[1,'M',-1],[1,'M',1],[1,'S',1],[1,'S',-1],[2,'S',-1],[2,'M',-1],[2,'M',1],[2,'L',1],[2,'L',1],[3,'L',1],[3,'L',1],[3,'M',1],[3,'M',1],[3,'L'
呱唧响·2022-11-21 10:52

《统计学习方法》第四章朴素贝叶斯总结与习题

朴素贝叶斯定义：朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。1.贝叶斯公式推导首先有条件概率公式如下：P(A∣B)=P(AB)P(B),P(B∣A)=P(AB)P(A)P(A|B)=\frac{P(AB)}{P(B)},P(B|A)=\frac{P(AB)}{P(A)}P(A∣B)=P(B)P(AB),P(B∣A)=P(A)P(AB)其中P(AB)P(AB)P(AB)为联合概率，两式消
Hilbob·2022-11-21 10:45
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他