李航统计学习方法第16页

k近邻(KNN)模型详细解读 | 统计学习方法学习笔记 | 数据分析 | 机器学习

目录1.走近k近邻-你周围的人决定了你是怎样的人：2.重要概念：3.k近邻算法的数学形式：4.k近邻模型的直观认识：5.如何计算距离：6.k值的选择：7.k近邻算法的损失函数：8.kd树数据结构：9.搜索kd树：KNN模型Python复现，使用了线性扫描；权值优化两种算法：舟晓南：k近邻（KNN）模型python复现-线性扫描；带权值的近邻点优化方法https://zhuanlan.zhihu.c

舟晓南·2022-05-26 07:26

统计学习方法（6）梯度提升决策树GBDT

统计学习方法（6）梯度提升决策树GBDT梯度提升决策树GBDTGBDT是以决策树为基学习器、采用Boosting策略的一种集成学习模型；与提升树的区别：残差的计算不同，提升树使用的是真正的残差，梯度提升树用当前模型的负梯度来拟合残差

简之·2022-05-25 07:01

机器学习：决策树 -- 学习笔记

参考文章决策树算法原理(上)-刘建平Pinard-博客园决策树算法原理(下)-刘建平Pinard-博客园李航《统计学习方法》第二版决策树算法决策树学习算法包含：特征选择决策树生成决策树的剪枝下面会分别对三个部分进行一定的总结

JingYuJingYuJingYu·2022-05-24 07:46

机器学习笔记补充——决策树

算法3.3CART算法(分类和回归树，classificationandregressiontree)4.决策树的剪枝4.1ID3/C4.5的剪枝4.2CART的剪枝5.随机森林本文内容主体是基于李航

lavendelion·2022-05-23 07:49

机器学习笔记 (3)-决策树模型

参考资料《机器学习》-周志华《统计学习方法》-李航《机器学习实战》-PeterHarrington(美)《加号机器学习讲义》-加号老师摘要机器学习包含监督学习、非监督学习、以及强化学习三大部分。

yanwosky4·2022-05-23 07:13

[学习记录] 关于逻辑回归logistics regression的公式相关

又到了找工作的时候，温故而知新，开一个新头公式书写是按照《统计学习方法》书中的命名，好像每个书也都不一样20210306先放一个手写版的，后续有时间再敲出来关于逻辑回归logisticsregression

小黑_BUPT·2022-05-21 07:22

李航统计学习方法第六章逻辑斯谛回归与最大熵模型

李航统计学习方法第六章逻辑斯谛回归与最大熵模型逻辑斯谛回归模型设XXX是连续随机变量,XXX服从逻辑斯谛分布是指XXX具有下列分布函数和密度函数:F(x)=P(X≤x)=11+e−(x−μ)/γF(x)

manong_dashen·2022-05-19 07:38

李航统计学习方法第四章朴素贝叶斯

李航统计学习方法第四章朴素贝叶斯基于贝叶斯定理和特征条件独立假设的分类方法.对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合分布;然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出

manong_dashen·2022-05-19 07:38

李航统计学习方法第2章感知机

第2章感知机介绍感知机模型,叙述感知机的学习策略,特别是损失函数;最后介绍感知机学习算法,包括原始形式和对偶形式,证明算法的收敛性.感知机模型f(x)=sign(w⋅x+b)f(x)=sign(w\cdotx+b)f(x)=sign(w⋅x+b)是模型函数www和bbb是模型参数,分别叫权值和偏置.感知机是判别模型.假设空间是线性分类器集合{f∣f(x)=w⋅x+b}\{f|f(x)=w\cdot

manong_dashen·2022-05-18 16:30

机器学习基础（3）—— 泛化能力、过拟合与欠拟合

参考：西瓜书第二章李航《统计学习方法（第二版）》第一章文章目录1.训练误差、测试误差与泛化性能1.1训练误差与测试误差1.2泛化能力1.2.1泛化误差1.2.2泛化误差上界2.过拟合和欠拟合2.1基础概念

云端FFF·2022-05-18 07:22

一周上榜新书：强化学习、深度学习最受程序员关注

1、动手学强化学习周榜TOP2，上海交通大学ACM班创始人俞勇教授团队编写，由李航、李沐等多位业内领军人士力荐！图灵奖得主JohnHopcroft推荐的强化学习入门书。

人邮异步社区·2022-05-17 16:59

【统计学习方法】第四章朴素贝叶斯

模型定位：朴素贝叶斯属于分类模型、生成模型GitHub地址基本概念条件概率：P(A∣B)=P(AB)P(B)P(A|B)=\frac{P(AB)}{P(B)}P(A∣B)=P(B)P(AB)乘法公式：P(AB)=P(A∣B)∗P(B)P(AB)=P(A|B)*P(B)P(AB)=P(A∣B)∗P(B)贝叶斯公式：P(Y∣X)=P(X∣Y)∗P(Y)P(X)P(Y|X)=\frac{P(X|Y)*P

#Super Pig·2022-05-17 07:08

统计学习方法——第四章：朴素贝叶斯

朴素贝叶斯（1）该算法的理论核心是贝叶斯定理；（2）它是基于条件独立性假设这个强假设之下的，这也是该算法为什么称为“朴素”的原因。目的：学习联合概率分布P（Y/X）所以要先学习先验概率P（Y）和后验概率P（X/Y）我们要使用贝叶斯公式后验概率（X/Y）：为什么是这么多个参数？这里的参数其实指的是P（Xi/Yi）=u的对应值u，因为我们没有其他办法获取，只能测量，即从样本中数出P（Xi/Yi）的发生

取个程序猿的名字·2022-05-17 07:33

《统计学习方法》——第四章朴素贝叶斯及C++实现

Input:特征向量Output:实例类别可用于多分类，属于生成模型，先估计X,Y的联合概率分布P（X,Y），再计算条件概率P(Y|X)朴素贝叶斯法和朴素贝叶斯估计是两种不同的概念朴素贝叶斯法（model)---->参数估计参数估计={最大似然估计贝叶斯估计参数估计=\left\{\begin{aligned}最大似然估计\\贝叶斯估计\\\end{aligned}\right.参数估计={最大似

李滚滚·2022-05-17 07:26

电信保温杯笔记——《统计学习方法（第二版）——李航》第4章朴素贝叶斯法

电信保温杯笔记——《统计学习方法（第二版）——李航》第4章朴素贝叶斯法论文介绍特点数学基础条件概率全概率公式贝叶斯公式先验概率后验概率似然函数极大似然估计（MLE）最大后验概率估计（MAP）贝叶斯估计（

电信保温杯·2022-05-17 07:23

李航《统计学习方法》学习笔记之——第四章：朴素贝叶斯法

“李航《统计学习方法》学习笔记”系列教程以李航老师《统计学习方法》为基础，系列笔记内容主要包括我学习过程中对于书中算法原理的理解和重点知识的汇总。

码农的科研笔记·2022-05-17 07:13

概率还不会的快看过来《统计学习方法》——第四章、朴素贝叶斯法

博客主页：啊四战斗霸的博客收录专栏：《统计学习方法》第二版——个人笔记南来的北往的，走过路过千万别错过，错过本篇，“精彩”可能与您失之交臂laTripleattack(三连击):Comment,LikeandCollect

啊四战斗霸·2022-05-17 07:50

入门计算机视觉和人工智能深度学习+统计学习方法+机器学习+数字图像处理

包括Bengio大神的《深度学习》，李航的《统计学习方法》第二版，周志华教授的《机器学习》，最后还有冈萨雷斯经典的《数字图像处理》。

m0_62042883·2022-05-13 07:41

李航《统计学习方法》----KNN--例题解析+ 机器学习实战

（文章底部有代码和数据链接）模型介绍k近邻算法（k-nearestneighbor,k-NN)基本思想是：特征空间中的每个样本都可以用与它最近的K个邻居来代表。分类的过程是：k个邻居进行投票，将待预测样本归入得票最多的类别里面。模型三要素（1）k值的选择（2）距离的度量方法（3）分类决策规则常见的距离度量方式设两个n维向量x1和x2之间的距离度量方式有：1、曼哈顿距离：2、欧氏距离：3、切比雪夫距

weixin_37550997·2022-05-11 07:33

K近邻算法（KNN）的理论知识和代码实现【分类系列】

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、分类的定义二、评价分类器性能的指标三、统计学习方法3.1K近邻法3.2KNNpython算法实现前言机器学习中有三大任务：

CTH_菜菜不菜·2022-05-10 07:04

利用k近邻模型进行鸢尾花分类-Python实现

利用k近邻模型进行鸢尾花分类-Python实现数据集简介https://www.cnblogs.com/mandy-study/p/7941365.htmlK近邻算法参考书：李航的《统计学习方法》书上的内容写得比我好得多的多

anion_·2022-05-10 07:46

K-近邻算法的超参数K值以及取值问题

举例说明：(K值相当于取得的样本数量个数去训练)K值过小：容易受到异常点的影响k值过大：受到样本均衡的问题K值选择问题，李航博士的一书「统计学习方法」上所说：1)选择较小的K值，就相当于用较小的领域中的训练实例进行预测

缘源园·2022-05-04 07:48

《统计学习方法》——第二章、感知机模型

您的三连击是创作者的最大动力！感谢！！！一、感知机模型感知机是根据输入实例的特征向量x对其进行二类分类的线性分类模型，属于判别模型。感知机模型的假设空间是定义在特征空间中的所有线性分类模型或线性分类器，即函数集合。感知机模型的一般形式：其中，x表示特征向量，和b是感知机模型参数，叫做权值或权值向量，b叫做偏置（bias），表示和x的内积，sign是符号函数，即感知机模型对应于特征空间中的分离超平面

啊四战斗霸·2022-05-02 07:04

《统计学习方法》第三章——k近邻法及Python实现

一、概述本文是《统计学习方法》的第三章，包含k近邻算法的原理与python实现。希望自己能坚持下去，完成整本书的学习二、k近邻算法k近邻是一种基本的分类与回归方法。本文只讨论分类问题中的k近邻算法。

骑猪流浪江湖·2022-05-02 07:32

统计学习方法——第三章：KNN

K近邻模型k-nearestneighborK-NN解决多分类问题，对每个训练实例点xi，距离该点较近的k个点构成一个区域，叫做cell可以看到距离度量，K值选取，分类规则都会对模型产生较大的影响距离度量两个实例点的距离代表了相似程度，一般为欧式距离，但也可以是其他距离要注意，不同距离所得到的最近的k个点是不同的。举个例子K值近似误差：可以理解为对现有训练集的训练误差。如果近似误差小了会出现过拟合

取个程序猿的名字·2022-05-02 07:01

统计学习方法笔记（李航）———第三章（k近邻法）

k近邻法(k-NN)是一种基于实例的学习方法，无法转化为对参数空间的搜索问题（参数最优化问题）。它的特点是对特征空间进行搜索。除了k近邻法，本章还对以下几个问题进行较深入的讨论:切比雪夫距离L∞(xi,xj)L_{\infty}\left(x_{i},x_{j}\right)L∞(xi,xj)的计算“近似误差”与“估计误差"的含义k-d树搜索算法图解一、算法输入：训练集T={(x1,y1),(x2

越前浩波·2022-05-02 07:00

统计学习方法——2. K近邻法（KNN）

一、介绍k-近邻（K-NearestNeighbor,KNN）：大多数情况下用于分类。在给定的距离度量（欧式距离、曼哈顿距离等）方法中，在训练集中找出与当前样本xxx最近邻的kkk个点，然后在kkk中根据分类决策规则（多数表决）决定xxx的类别yyy。重点：1.k值选择；2.距离度量；3.分类决策规则。细节：1.k值的选择：一般取一个较小的数值，可以采用交叉验证法来选择最优k值。2.距离度量：欧式

要坚持写博客呀·2022-05-02 07:26

《统计学习方法》读书笔记——第三章 K近邻法

写在前面本系列博客是自己对于《统计学习方法》这本书的读书笔记，在读过每个章节以后根据自己的理解写下这一章的知识框架以及补充一些延伸知识点。

'Themis'·2022-05-02 07:23

《统计学习方法》第三章 k近邻法

k近邻法（KNN）是一种基本分类和回归方法。k近邻法的基本做法是：对给定的训练实例点和输入实例点，首先确定输入实例点的k个最近邻训练实例点，然后利用这k个训练实例点的类的多数来预测输入实例点的类。k近邻算法k近邻模型k近邻法使用的模型实际上对应于对特征空间的划分。模型由三个基本要素——距离度量，k值的选择，分类决策规则决定。当这三个基本要素确定后，对于任何一个新的输入实例，它所属的类唯一地确定。这

自信的小螺丝钉·2022-05-02 07:22

统计学习方法——k近邻法

目录统计学习方法——k近邻法算法描述k近邻模型k近邻法实现:kd树构造平衡kd树搜索kd树Reference统计学习方法——k近邻法算法描述k近邻算法是一种基本分类与回归方法。

nuistgwk·2022-05-02 07:19

统计学习方法——第3章 k近邻法

3.1k近邻法介绍k近邻法是一种基本的分类与回归方法。对于分类问题，给定训练数据集和实例标签。分类时，对新的实例，根据k个最近邻的训练实例的类别，通过多数表决等方式进行预测。因此，k近邻法不具有显示的学习过程。k近邻法实际上利用训练数据集对特征空间进行划分，并作为分类的“模型”。k值的选择、距离的度量和分类决策规则是k近邻法的三个基本要素。k值的选择k值的选择对k近邻算法具有较大影响。如果选择的k

qq_37172182·2022-05-02 07:48

统计学习方法——学习笔记——k近邻法

首先先确定一下自己的写作思路模型，最小化目标的确定，算法（求解的具体方法）模型k近邻法（这里只讨论分类过程中）；该算法的作用是给定一个测试点，从训练集合中根据距离度量找出k个和该点距离最近的点，并具求解出这K个点中所属类别最多的类别当作该测试点的预测类别。数学公式输入数据集x是特征向量y是对应的类别第一根据给定的距离度量度量，找出k个点，记这k个点组成的领域为则该算法的预测值即输出为y(I（）这个

m0_46290848·2022-05-02 07:12

【统计学习方法】学习笔记-第3章-k近邻法

(知乎:https://zhuanlan.zhihu.com/p/314613894)k近邻法(k-nearestneighbor,k-NN)是一种基本分类和回归方法（这里讨论分类），对于新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式预测。k近邻不具有显式的学习过程，是利用训练数据对特征空间进行划分，作为分类模型。k近邻法的三个基本要素——k值选择、距离度量、分类决策规则。3.1k

煎饼证·2022-05-02 07:11

统计学习方法——K近邻法（学习笔记）

K近邻算法简介K近邻法是一种基本分类与回归方法。K近邻法的输入为实例的特征向量（特征空间的点），输出为实例的类别，可以取多类。K近邻算法假设给定一个训练数据集，其训练数据集实例的类别已定，对新的输入实例，找出新实例K个最近邻的训练点，根据K个最近邻训练实例的类别，通过多数表决等方式进行预测。K近邻法的三个基本要素：K值的选择、距离度量、分类决策规则。下面介绍一下kd树、搜索kd树的过程以及相关代码

hongguihuang·2022-05-02 07:10

《统计学习方法》——第三章 K近邻法

本章讨论的是分类问题中的K近邻法3.1K近邻算法算法简述：当K取3时，绿色点属于红类；当K取5时，绿色点属于蓝类。在右图中，距离度量采用欧氏距离。3.2K近邻模型3.2.1模型没有类似于感知机模型的函数表示，理解理解。若K=1，则为最近邻模型。测试实例在哪个训练实例点的单元（上图的方框）范围内就属于哪个类别。3.2.2距离度量Lp距离p=1时，称为曼哈顿距离。（1，0）和（0.5，0.5）到（0，

Lyons_boy·2022-05-02 07:09

统计学习方法——第三章K近邻

【K近邻算法】一个少数服从多数的投票模型，可以用在多分类的情况。算法描述：KNN是根据点与点之间的关系来进行判断，所以有些噪声可能会对结果有些影响。还有KNN并不需要训练，但需要遍历整个训练集，所以预测会比较慢。【代码中用到的方法】np.linalg.norm(a-b)#欧氏距离np.dot(a,b)#按照矩阵乘法规则来运算【算法举例】【代码】链接：http://blog.csdn.net/wds

落木~·2022-05-02 07:06

《统计学习方法》第三章：K近邻法 ——python实现

K近邻法理论推导:https://blog.csdn.net/ACM_hades/article/details/89644882代码数据集：ris鸢尾花数据集，它包含3个不同品种的鸢尾花：[Setosa，Versicolour，andVirginica]数据，特征：[‘sepallength’,‘sepalwidth’,‘petallength’,‘petalwidth’],一共150个数据。代

菜小白—NLP·2022-05-02 07:03

《统计学习方法》——第三章、k近邻法

您的三连击是创作者的最大动力！感谢！！！K-近邻算法（KNN）是一种用于回归任务和分类任务的简单模型。邻居用于估计一个测试实例（未分类样本）对应的响应变量值。超参k用来指定估计过程应该包含多少个邻居。超参k是用来控制算法如何学习的参数，它不通过训练数据来估计，样本需要人为指定。最后，算法通过某种距离函数，从特征空间中选取k个距离测试实例最近的邻居。对于分类问题：对新的样本，根据其个最近邻的训练样本

啊四战斗霸·2022-05-02 07:02

SVM支持向量机的python实现

写在前面博主现在在学《统计学习方法》这本书，折腾支持向量机也有半个月多了，之前一直想要把支持向量机搞懂，所以就想集中一段时间来学支持向量机，但是因为懒惰，断断续续地磨了很久。

虽然不会，但没有关系·2022-05-01 07:55

诺亚方舟实验室李航：深度学习还局限在复杂的模式识别上

诺亚方舟实验室李航：深度学习还局限在复杂的模式识别上width="22"height="16"src="http://hits.sinajs.cn/A1/weiboshare.html?

元宇宙iwemeta·2022-04-28 07:28

国内 Top2 高校研一在读，为什么感觉深度学习越学越懵?

视学算法·2022-04-24 09:51

学习笔记10：统计学习方法:——HMM和CRF

文章目录一、概率图模型1.1概览1.2有向图1.3无向图1.4生成式模型和判别式模型1.4.1生成式模型和判别式模型区别1.4.2为啥判别式模型预测效果更好二、隐式马尔科夫模型HMM2.1HMM定义2.2HMM三要素和两个基本假设2.3HMM三个基本问题2.4HMM基本解法2.4.1极大似然估计（根据I和O求λ）2.4.2前向后向算法（没有I）2.4.3序列标注（解码）过程三、最大熵马尔科夫MEM

神洛华·2022-04-23 07:19

支持向量机

同之前一样，仍然是机器学习部分，西瓜书南瓜书系列笔记，以二者为主，吴恩达机器学习和统计学习方法为辅，对支持向量机做了一些简单得笔记。仍然还是先附上纸质笔记，然后会更精炼得写到博客上来。

若洲的算法与AI·2022-03-31 08:44

复现经典：《统计学习方法》第21章 PageRank算法

第21章PageRank算法本文是李航老师的《统计学习方法》一书的代码复现。作者：黄海广备注：代码都可以在github中下载。我将陆续将代码发布在公众号“机器学习初学者”，可以在这个专辑在线阅读。

湾区人工智能·2022-03-25 19:58

关于《机器学习实战》朴素贝叶斯分类器的实现代码是否有问题的讨论

《机器学习实战》朴素贝叶斯分类器的实现代码是否有问题的讨论结合《统计学习方法》这本书上p50-p51页的朴素贝叶斯算法的应用例子进行对比、推导。

是yuyu呀·2022-03-25 07:20

机器学习贝叶斯分类（理论及代码实现）

具体可以参考概率论与数理统计教材、周志华的西瓜书、李航的统计学习方法。1.1、极大似然估计。直接来例子例：假设袋子里有n个球，n无限大。只有黑球和白球，每次有放回的从袋子随机拿100次球。

神仙罗辑·2022-03-25 07:05

机器学习 —— 基础整理（五）线性回归；二项Logistic回归；Softmax回归及其梯度推导；广义线性模型...

本文简单整理了以下内容：（一）线性回归（二）二分类：二项Logistic回归（三）多分类：Softmax回归（四）广义线性模型闲话：二项Logistic回归是我去年入门机器学习时学的第一个模型（忘记了为什么看完《统计学习方法

weixin_34301307·2022-03-23 08:57

机器学习之绪论

本文知识来源参考网络与专业书籍参考书籍1、机器学习-周志华2、统计学习-李航文章目录一、机器学习是什么？二、机器学习的关联技术问：人工智能是什么？人工智能与机器学习的关系？问：什么是深度学习?

STCNXPARM·2022-03-23 07:25

西瓜书/南瓜书第一二章总结

接下来的一段时间，会以西瓜书、南瓜书为主，吴恩达机器学习与统计学习方法为辅，对原来学过的一些机器学习算法做一个总结，重点是底层原理和公式推导。

若洲的算法与AI·2022-03-16 07:48

Python实现感知机算法——李航《统计学习方法》

接下来一学期选了门《机器学习》的课程，所以打算把相关的作业也发上来！一：请说明感知机为何不能解决异或问题。答：我们知道感知机属于线性模型，由于其无法找到一个线性模型对异或问题进行划分，所以其不能解决异或问题。具体解释如下：首先我们知道感知机的数学表达式就是：f(x)=sign(wx+b)其中sign是符号函数，w和b都是感知机参数，x表示实例的特征向量，而y=f(x)就是实例的类别。以二维特征向量

请求和清风明月·2022-03-14 10:00

推荐频道

李航统计学习方法