李航统计学习笔记第14页

《统计学习方法，李航》：3、k临近法与kd树

以后文章就不再强调三要素（模型、策略、算法），而是直接上最新鲜的部分。1）k的选择2）距离的度量3）k临近法的实现：kd树3.1）kd树的构造3.2）kd树的搜索1）k的选择一般初始化为比较小的值，用交叉验证判断哪一个值更好。2）距离的度量我们更常用的是欧氏距离，即p=2。3）k临近法的实现：kd树k临近法的实现主要考虑如何快速地进行k临近搜索。最简单的注意扫描计算距离并找到最小的k个距离点太耗时

mmc2015·2020-08-19 02:13

李航：统计学习方法学习笔记 6 logistic回归与最大熵模型

目录1.logistic分布函数2.最大熵模型原问题与对偶问题L(p,w)对P(y|x)求偏导6.22及6.23式推导极大似然估计6.26,6.27式3.模型学习的最优化算法改进的迭代尺度法IIS1.logistic分布函数2.最大熵模型原问题与对偶问题如何将约束最优化的原始问题转换为无约束最优化的对偶问题？见该书附录C拉格朗日对偶性。L(p,w)对P(y|x)求偏导w0w_{0}w0处的计算？6

雪清Fand·2020-08-19 01:38

（李航统计方法学习）KNN的Python实现

K-NN（k-nearestneighbor)是一种基本分类与回归的方法，没有训练过程。分类;模型：利用训练数据集对特征向量空间进行划分策略：惰性学习，应该是没有优化策略的算法：略k近邻的三个基本要素：k的选择，距离度量，分类决策规则（多数表决规则等价于经验风险最小）优点：简单好用，容易理解，精度高，理论成熟，既可以用来做分类也可以用来做回归；可用于数值型数据和离散型数据；训练时间复杂度为O(n)

Rudy95·2020-08-19 01:03

【统计学习方法-李航-笔记总结】六、逻辑斯谛回归和最大熵模型

本文是李航老师《统计学习方法》第六章的笔记，欢迎大佬巨佬们交流。

zl3090·2020-08-19 00:52

逻辑斯蒂回归（Logistic Regression）

周志华《机器学习》李航《统计学习方法》通过逻辑回归的sigmoid函数把线性回归转化到[0,1]之间，这个值为什么可以代表概率？

了不起的赵队·2020-08-19 00:17

第六章 Logistic回归与最大熵模型

参考资料1.李航《统计学习方法》2.github:https://github.com/fengdu78/lihang-codeLogistic模型与最大熵模型都属于对数线性模型是否是线性模型取决于训练的参数是否为线性

bineleanor·2020-08-19 00:45

逻辑斯蒂回归2 -- 最大熵模型概念

声明：1，本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结，不得用作商用，欢迎转载，但请注明出处（即：本帖地址）。

血影雪梦·2020-08-19 00:08

k近邻法的实现：kd树

最近在看李航博士写的《统计学习方法》一书，其中第三章讲述的k近邻法里面有一节是k近邻法的实现：kd树，关于最近邻法的原理，请大家查阅相关资料，作为一个初学者，觉得李航博士的书已经写的很好了，推荐大家阅读

wenwuchige·2020-08-19 00:29

《统计学习方法（李航）》逻辑斯蒂回归与最大熵模型学习总结

作者：jlianghttps://blog.csdn.net/jliang31.重点归纳1）线性回归（1）是确定两种或以上变量间相互依赖的定量关系的一种统计分析方法。（2）模型：y=wx+b（3）误差函数：（4）常见求解方法最小二乘法梯度下降法其它算法：牛顿法或拟牛顿法（5）最小二乘与梯度下降法关系最小二乘法看作优化方法的话，那么梯度下降法是求解方法的一种。梯度下降法是一种解决问题的数据方法，最小

J-JunLiang·2020-08-19 00:09

年中记录与挖坑

记录前一段时间李航大佬跳槽前总结过(原文链接)计算机上达到和人同等的对话能力还非常困难。现在的技术，一般是数据驱动，基于机器学习的。单轮对话有基于分析的，基于检索的，基于生成的方法。

MashoO·2020-08-19 00:37

机器学习算法感知机详解加代码

感知机今天出去跑滴滴看到一个小伙子拿了一本李航的统计学习方法，于是回家又翻出了这本书打算从头到尾写博客介绍一遍各个算法的原理和代码。

ID3·2020-08-19 00:41

新建网站了！Github标星过万的吴恩达机器学习、深度学习课程笔记，《统计学习方法》代码实现，可以在线阅读了！...

吴恩达机器学习、深度学习，李航老师《统计学习方法》，可以说是机器学习入门的宝典。本文推荐一个网站“机器学习初学者”，把以上资源的笔记、代码实现做成了网页版，可以在线阅读了。

湾区人工智能·2020-08-18 13:15

Logistic回归的基本思想与公式推导

无论是在李航老师的《统计学习方法》书中，还是在吴恩达老师的机器学习课程中，都是先假设随机变量x服从Logistic分布，即有如下的分布函数和概率密度函数：可是为什么定义这样的分布函数和概率密度函数，对于初学者来说

兔子爱吃萝北·2020-08-18 12:29

Logistic回归原理分析和实践

Logistic回归原理分析和实践参考资料：机器学习周志华统计学习方法李航一些博客：logistic回归详解,详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解,逻辑回归（LogisticRegression

panfeng_·2020-08-18 12:07

统计学习方法-框架

本文是作者在阅读李航老师《统计学习方法》后，对其中一些重要概念的理解和思考，算是一种形式的笔记，希望跟大家分享，如果转载，请标明作者和出处。

基皮producer·2020-08-18 10:37

李航《统计学习方法》--第一章

统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行分析和预测的一门学科。统计学习三要素：模型，策略，算法模型：在监督学习中，模型就是所要学习的条件概率分布或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。在书中称有决策函数表示的模型为非概率模型，由条件概率表示的模型为概率模型。策略：策略就是按照什么样的标准学习或选择最优的模型。统计学习的目的在于从假设空间中选取最优模型

Icevivina·2020-08-18 07:51

AdaBoost算法公式形象的解释

0.问题引入以上是李航的《统计学习方法》中对AdaBoost算法的描述，虽然后文中也对这里的式子进行了注释，但还不是很明朗，下面是我自己的解读。

comli_cn·2020-08-17 21:29

条件随机场（CRF）

条件随机场应该是机器学习领域比较难的一个算法模型了，难点在于其定义之多（涉及到概率图模型、团等概率）、数学上近似完美（涉及到概率、期望计算，最优化方面的知识），但是其在自然语言处理方面应用效果比较好，所以本文结合李航老师的

张博208·2020-08-17 21:43

李航统计学习方法-感知机理论

感知机模型感知机（perceptron）是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和–1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机学习算法具有简单而易于实现的优点，分为原始形式和

JohnBanana·2020-08-17 17:05

李航《统计学习方法》第一章复习与习题参考解答

1、统计学习三要素除了介绍一些基本概念之外，李航《统计学习方法》第一章的重点是提出了统计学习的三要素，即方法=模型+策略+算法更确切地说，统计学习方法包括模型的假设空间、模型选择的准则以及模型学习的算法

徐子尧·2020-08-17 17:59

李航（统计学习方法第二章）

第二章感知机感知机是二分类的线性分类模型，分为原始形式和对偶形式。是神经网络和支持向量机的基础。介绍感知机模型叙述感知机的学习策略（特别是损失函数）介绍感知机学习算法（包括原始形式和对偶形式），并验证算法收敛性。2.1感知机模型定义2.1（感知机）假设输入空间（特征空间）是 χ⊆Rn \,\chi\subseteqR^n\,χ⊆Rn，输出空间是 Y={+1,−1} \,Y=\{+1,-1\}\,Y

公琉星追·2020-08-17 17:34

李航第二章课后习题答案

2.1**题目描述：**Minsky和Papert指出：感知机是线性模型，所以不能表示复杂的函数。如异或（XOR），验证感知机为什么不能表示异或。解：异或的输入输出如下：x(1)x(1)11-11-11-111-1-1-1接下来我们简单证明一下异或操作的线性不可分性：证：利用反证法，假设存在一个超平面wx+b=0wx+b=0，满足条件：y(w⋅x+b)>0y(w⋅x+b)>0∀x∈{(1,1)T,

weixin_43780431·2020-08-17 17:00

支持向量机SVM（一）原始函数与对偶函数

所有公式已做手动推导，为了美观（字丑），将选择贴出周老先生西瓜书的一些结论和李航统计机器学习和南瓜书推导过程。

请叫我Ricardo·2020-08-17 16:14

李航《统计学习方法》第二版学习笔记汇总（包括理论和技术部分，持续更新ing...）

目录第1章统计学习及监督学习概论理论部分第2章感知机理论部分技术部分第3章k近邻法理论部分技术部分第4章朴素贝叶斯法第5章决策树第6章逻辑斯蒂回归与最大熵模型第7章支持向量机第8章提升方法第9章EM算法及其推广第10章隐马尔可夫模型第11章条件随机场第1章统计学习及监督学习概论理论部分第2章感知机理论部分技术部分第3章k近邻法理论部分技术部分第4章朴素贝叶斯法(待更新…)第5章决策树(待更新…)第

城序猿·2020-08-17 16:08

统计学方法（李航）第三章学习总结

完整的kd最近邻算法Python实现：https://www.jb51.net/article/146976.htmhttps://www.jb51.net/article/133242.htm书中例题二星号表示要查询的点（2,4.5）通过二叉搜索，顺着搜索路径很快就能找到最邻近的叶子节点（4,7），首先假设（4,7）为当前最近邻点，计算其与目标查找点的距离为3.202。回溯到（5,4），计算其与

SIVAN_HU·2020-08-17 16:01

李航《统计学习方法》第二版-第3章 k近邻法浅见

李航《统计学习方法》第二版-第3章k近邻法浅见3.0k近邻简单介绍3.1k近邻算法3.2k近邻模型3.2.1模型3.2.2距离度量3.2.3k值选择3.2.4分类决策规则3.3kd树总结3.0k近邻简单介绍

王伟王胖胖·2020-08-17 15:34

李航《统计学习方法》第二版-第1章统计学习及监督学习概论1.6-1.8 浅见

李航《统计学习方法》第二版-第1章统计学习及监督学习概论1.6-1.8浅见1.6泛化能力1.7生成模型和判别模型1.8监督学习应用1.6泛化能力也就是我们所说的对未知数据的适应能力，预测能力，这个才是我们要的

王伟王胖胖·2020-08-17 15:02

李航统计学习方法总结与整理

感知机（perception）：二类分类的线性模型，输入为实例的特征向量，输出为实例的类别，取+1，-1。对应于输入空间中将样本实例分成正负两类的分离超平面，属于判别模型。其损失函数为：所有误分类点到分类超平面的距离总和。目的为最小化这个距离总和。其中，为误分类点到分离超平面距离。L是w,b的连续可导函数。其包括原始形式和对偶形式，采用随机梯度下降法进行求解。首先任意选择一个超平面w0，b0，然后

w_zhao·2020-08-17 15:55

统计学习方法-李航（第5章决策树笔记)

这篇文章从思想的角度上看李航所表述的决策树，用简单易理解的方向去解释决策树。提出常见的三种决策树方法ID3,C4.5，同时分析他们的不同。

yealxxy·2020-08-17 15:58

李航·统计学习方法笔记·第6章 logistic regression与最大熵模型（2）·最大熵模型

李航·统计学习方法笔记·第6章logisticregression与最大熵模型（2）·最大熵模型标签（空格分隔）：机器学习教程·李航统计学习方法李航统计学习方法笔记第6章logisticregression

tina_ttl·2020-08-17 15:02

李航·统计学习方法笔记·第6章 logistic regression与最大熵模型（1）·逻辑斯蒂回归模型

第6章logisticregression与最大熵模型（1）·逻辑斯蒂回归模型标签（空格分隔）：机器学习教程·李航统计学习方法第6章logisticregression与最大熵模型1逻辑斯蒂回归模型Logisticdistribution1

tina_ttl·2020-08-17 15:29

李航机器学习 | (3) 统计学习方法(第2版)笔记 --- 感知机习题与编程作业

1.Minsky与Papert指出：感知机是线性模型，所以不能表示复杂的函数，如异或(XOR).验证感知机为什么不能表示异或。首先写出异或函数对应的输入输出：y11-11-1+1-11+1-1-1-1我们可以可视化上述实例及其标签：importnumpyasnpimportmatplotlib.pyplotaspltx=np.array([[1,1],[1,-1],[-1,1],[-1,-1]])

CoreJT·2020-08-17 14:37

机器学习（南京大学周志华的《机器学习》和李航的《统计学习方法》）

机器学习的三种不同方法：一、监督学习（supervisedlearning）——对未来事件进行预测。使用有类标的数据构建数据模型。然后使用经训练得到的模型对未来的数据进行预测。主要分为两类：1.利用分类对类标进行预测2.使用回归预测连续输出值二、无监督学习（unsupervisedlearning）——发现数据本身潜在的结构。分为两类：1.通过聚类发现数据的子群2.数据压缩中的降维三、强化学习（r

黑夜的幽灵·2020-08-17 14:34

【统计学习笔记】习题二

【统计学习笔记】习题二感知机不能表示异或感知机例子样本集线性可分的充要条件：正负类凸壳互不相交感知机不能表示异或设异或输出1为正类，输出0为负类。

喜欢什么的只是说说而已·2020-08-17 14:23

统计学习方法-李航（2）

统计学习方法-李航（第一章2）如何对经验风险进行矫正经验风险最小化（ERM）缺点结构风险最小化极大似然估计和贝叶斯估计（PR）极大似然估计贝叶斯估计如何对经验风险进行矫正在现实中，由于训练样本数目有限，

萌即正义Zitrone·2020-08-17 14:52

统计学习方法——实践

看书结合python实现的博客学习：李航《统计学习方法》第二章——用Python实现感知器模型（MNIST数据集）李航《统计学习方法》第三章——用Python实现KNN算法（MNIST数据集）李航《统计学习方法

黑人子敬·2020-08-17 13:44

李航《统计学习方法》第二章习题和笔记

李航《统计学习方法》第二章习题和笔记感知机模型点到平面公式的推导两种思路习题感知机模型模型：f(x)=sign(w⃗⋅x⃗+b)f(x)={\rmsign}(\vecw\cdot\vecx+b)f(x)

赶只鸡·2020-08-17 13:41

机器学习的学习路线

[plain]viewplaincopyML书单│李航.统计学习方法.pdf│机器学习及其应用.pdf│AllofStatistics-AConciseC

Computer_Elearning·2020-08-17 13:17

统计学习方法李航---第2章感知机

第2章感知机感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化求得感知机模型。2.1感知机模型定义(感知机)：假设输入空间(特征空间

dazhichang6061·2020-08-17 12:08

统计学习方法——第1章统计学习及监督学习概论

简介本系列博客的主要学习资料为由清华大学出版，李航编写的《统计学习方法（第2版）》。希望本系列的博客内容能够帮助初学者加深理解。本系列博客完全按照《统计学习方法》的编排顺序书写。

Gao_YanTai·2020-08-17 11:59

李航统计学习方法(第二版)第二章感知机学习笔记【实战篇】

感知机学习笔记【实战篇】原始形式对偶形式原始形式本节用李航大大第二版统计学习方法中的例题作为例子来进行学习与编码。

禅心001·2020-08-17 11:38

李航《统计学习方法》第二版-第1章统计学习及监督学习概论1.1-1.2 浅见

李航《统计学习方法》第二版-第1章统计学习及监督学习概论1.1-1.2浅见目的第一章统计学习及监督学习概论1.1统计学习统计学习是什么，做什么的统计学习的对象统计学习的目的统计学习的方法1.2统计学习的分类基本分类监督学习输入空间

王伟王胖胖·2020-08-17 10:48

李航第二章课后习题

原文在我的个人博客上，欢迎叨扰。2.1**题目描述：**Minsky和Papert指出：感知机是线性模型，所以不能表示复杂的函数。如异或（XOR），验证感知机为什么不能表示异或。解：异或的输入输出如下：x(1)x(2)y11-11-11-111-1-1-1接下来我们简单证明一下异或操作的线性不可分性：证：利用反证法，假设存在一个超平面wx+b=0，满足条件：y(w⋅x+b)>0∀x∈{(1,1)T

sanmaopep·2020-08-17 10:51

《统计学习方法》学习笔记

最近把李航的《统计学习方法》看完了，感觉很不错，从概论到各个统计方法，由易到难层层推进，每个方法都有详尽的数学公式推倒，感觉很适合有一定数学功底的人作为机器学习入门来看。

ArthurYang·2020-08-17 10:46

统计学习方法 (李航第2版)

文章目录第1篇监督学习第1章：统计学习及监督学习概论第2章：感知机第3章：k近邻法第4章：朴素贝叶斯法第5章：决策树第6章：逻辑斯谛回归与最大熵模型第7章：支持向量机第8章：提升方法第9章：EM算法及推广第10章：隐马尔可夫模型第11章：条件随机场第12章：监督学习方法总结第2篇：无监督学习第13章：无监督学习概论第14章：聚类方法第15章：奇异值分解第16章：主成分分析第17章：潜在语义分析第1

TooSIMple_·2020-08-17 10:51

【读书笔记】李航统计学习方法第一章统计学习与监督学习概论（上）

文章目录第一章统计学习与监督学习概论（上）1.1统计学习1.2统计学习的分类1.基本分类2.按模型分类3.按算法分类4.按技巧分类1.3统计学习方法三要素第一章统计学习与监督学习概论（上）1.1统计学习1）首先要明确：统计学习=机器学习（基本不做区分）2）统计学习关于数据的基本假设是同类数据具有一定的统计规律性，这是统计学习的前提。【说明】这只是一个假设，在实际应用中并不尽然，所以才有了Domai

司马平雋·2020-08-17 10:13

【用python实现《统计学习方法》】之感知机（perceptron)

声明：首先非常感谢李航博士和这篇博文的博主。本文的理论部分主要参考李航博士的《统计学习方法》，而代码实现部分则是在上述的博文基础上完成，并新增了对偶形式的感知机的python实现。

肖橘猫·2020-08-17 02:51

机器学习学习笔记—正则化的理解

这几天在学习李航的统计学习方法，来谈谈我对于机器学习中正则化的理解：什么是正则化如何理解正则化正则化的作用第一个问题，什么是正则化？

Harrytsz·2020-08-16 23:05

概率统计学习笔记（7）

分布函数定义设XXX是一个随机变量，xxx是任意实数，函数F(x)=P{X≤x},−∞<x<∞F(x)=P\{X\lex\},-\infty<x<\inftyF(x)=P{X≤x},−∞

阿巫兮兮·2020-08-16 19:36

复现经典：《统计学习方法》第 8 章提升方法

本文是李航老师的《统计学习方法》[1]一书的代码复现。作者：黄海广[2]备注：代码都可以在github[3]中下载。我将陆续将代码发布在公众号“机器学习初学者”，敬请关注。

风度78·2020-08-16 10:09

推荐频道

李航统计学习笔记