李航第13页

李航《统计学习方法》第五章——用Python实现决策树（MNIST数据集）

wds2006sdo·2020-08-22 03:12

【统计学习方法by李航】第一章统计学习方法概论个人总结

第一章统计学习方法概论开始的话一、统计学习[1.1]（一）总定义（二）统计学习的方法二、监督学习[1.2]（一）基本概念[1.2.1]1、输入空间、特征空间与输出空间2、联合概率分布3、假设空间（上面名词解释里面有讲）（二）问题的形式化[1.2.2]三、统计学习三要素[1.3]（一）模型[1.3.1]（二）策略[1.3.2]1、损失函数、代价函数2、风险函数(期望损失)、经验风险(经验损失)【L是

ArtlexKylin·2020-08-21 22:02

《统计学习方法》第一章总结及实现最小二乘法拟合曲线

最近在看李航老师的书，也跟着网上的一些总结以及代码实现学习了，接下来会跟着自己的阅读进度进行更新个人总结。

Shannon333·2020-08-21 20:36

【科幻】外星人日记（4）

外星人日记4：相亲车轮战上传完记录，李航和郑梓轩准备去等会VIP团的报名。两人从接待区向公共休息区走去，通道边上是照片墙，基本上展示的都是配对成功的会员的婚纱照。

笔冢客·2020-08-21 19:25

AdaBoost数学原理

参考资料：《机器学习》周志华《统计学习方法》李航【知乎】adaboost为什么不容易过拟合呢？

了不起的赵队·2020-08-21 12:02

KD树在knn算法中的应用

李航博士的书只讲了求得最近邻的一个样本点的检测，但我们实际中要的是k个近邻点。

hincon·2020-08-20 00:35

【统计学习方法-李航-笔记总结】五、决策树

本文是李航老师《统计学习方法》第五章的笔记，欢迎大佬巨佬们交流。

zl3090·2020-08-19 06:45

关于《统计学习方法》中第三章构造kd树算法中的中位数问题

最近在看李航所著的《统计学习方法》，很不错的一本书。但在第三章构造平衡kd树时，原书中说的是“以T中所有实例的x(1)坐标的中位数为切分点”（p42），此处的中位数说法自认为不准确。

wzc_1230·2020-08-19 05:56

极大熵模型和逻辑回归的等价性

以上来源为李航的《统计机器学习》，但是有一些问题他没有讲的很明白在http://www.win-vector.com/dfiles/Logistic

windows2·2020-08-19 05:55

kd树之最近邻的搜索Java实现

本算法思想来自于李航的《统计学习方法》本文主要实现其kd树最近邻的搜索构造代码已经发表过了，现在也还是写一下，//为了方便储存数据publicclassData{publicdoublex1;publicdoublex2

米米奇·2020-08-19 05:54

机器学习之最大熵模型及python实现

本文参考李航博士的《统计学习方法》1.最大熵模型原理下面的公式以如下表格的例子进行举例解释：IDageworkinghousecredit_situationlabel1youthnono1refuse2youthnono2refuse3youthyesno2agree4youthyesyes

董蝈蝈·2020-08-19 05:36

李航统计学习方法例3.2 构造平衡kd数

#weihuiziimportoperatorimportnumpyasnp#kd-tree每个结点中主要包含的数据结构如下classKdNode(object):def__init__(self,dom_elt,split,left,right):self.dom_elt=dom_elt#k维向量节点(k维空间中的一个样本点)self.split=split#整数（进行分割维度的序号）self.

only卉·2020-08-19 05:50

logistic回归和最大熵

回顾发现，李航的《统计学习方法》有些章节还没看完，为了记录，特意再水一文。

weixin_33881050·2020-08-19 04:25

逻辑斯蒂回归模型

本文主要根据周志华的西瓜书以及李航的《统计学习方法》中提到的方法，结合自己的想法进行记录的文档，部分概念可能理解不够透彻表述会有问题。

风过留声_涟动无痕·2020-08-19 03:41

《李航统计学习方法》学习笔记——第六章 Logistic 回归与最大熵模型

Logistic回归与最大熵模型1.Logistic回归模型2.模型参数估计2.1梯度下降法求参2.2牛顿法求参2.3拟牛顿法求参2.3.1算法DFP2.3.2算法BFGS3.最大熵模型3.1原理3.2模型3.3学习4.模型参数估计4.1改进的迭代尺度法IIS4.2拟牛顿法习题6.1习题6.2习题6.3参考1.Logistic回归模型广义上的线性回归为：f(x)=g−1(ωxT+b)f(x)=g^

eveiiii·2020-08-19 03:18

《统计学习方法》第三章 k近邻法总结及代码实现

本文总结内容参考于李航老师的《统计学习方法》及其配套课件原文代码作者：https://github.com/wzyonggege/statistical-learning-methodk近邻法的输入为实例的特征向量

Shannon333·2020-08-19 03:31

天池精准医疗大赛——个人赛后总结（一）

一、参赛背景一条工程狗也有自己的数据挖掘梦，自己一直对算法感兴趣，期间关注了很多热门的公众号，天天在CSDN的博客下面学习大牛的经验，也学习了李航老师的《统计学习方法》、周志华老师的《机器学习》、《利用

从前从前_·2020-08-19 03:56

kd树建立的python实现

本篇博客是参考李航的《统计学习方法》第三章3.3，使用python实现kd树的建立。

努力学挖掘机的李某某·2020-08-19 03:20

Kd树的具体实现

Kd树的实现pythonKd树的原理李航的统计学习方法介绍的Kd树网上大部分创建Kd树的思路Kd树的实现sklearn库中的iris作为本次实验数据集python实现Kd树的原理李航的统计学习方法介绍的

李奥去哪了·2020-08-19 03:17

《统计学习方法，李航》：3、k临近法与kd树

以后文章就不再强调三要素（模型、策略、算法），而是直接上最新鲜的部分。1）k的选择2）距离的度量3）k临近法的实现：kd树3.1）kd树的构造3.2）kd树的搜索1）k的选择一般初始化为比较小的值，用交叉验证判断哪一个值更好。2）距离的度量我们更常用的是欧氏距离，即p=2。3）k临近法的实现：kd树k临近法的实现主要考虑如何快速地进行k临近搜索。最简单的注意扫描计算距离并找到最小的k个距离点太耗时

mmc2015·2020-08-19 02:13

李航：统计学习方法学习笔记 6 logistic回归与最大熵模型

目录1.logistic分布函数2.最大熵模型原问题与对偶问题L(p,w)对P(y|x)求偏导6.22及6.23式推导极大似然估计6.26,6.27式3.模型学习的最优化算法改进的迭代尺度法IIS1.logistic分布函数2.最大熵模型原问题与对偶问题如何将约束最优化的原始问题转换为无约束最优化的对偶问题？见该书附录C拉格朗日对偶性。L(p,w)对P(y|x)求偏导w0w_{0}w0处的计算？6

雪清Fand·2020-08-19 01:38

（李航统计方法学习）KNN的Python实现

K-NN（k-nearestneighbor)是一种基本分类与回归的方法，没有训练过程。分类;模型：利用训练数据集对特征向量空间进行划分策略：惰性学习，应该是没有优化策略的算法：略k近邻的三个基本要素：k的选择，距离度量，分类决策规则（多数表决规则等价于经验风险最小）优点：简单好用，容易理解，精度高，理论成熟，既可以用来做分类也可以用来做回归；可用于数值型数据和离散型数据；训练时间复杂度为O(n)

Rudy95·2020-08-19 01:03

【统计学习方法-李航-笔记总结】六、逻辑斯谛回归和最大熵模型

本文是李航老师《统计学习方法》第六章的笔记，欢迎大佬巨佬们交流。

zl3090·2020-08-19 00:52

逻辑斯蒂回归（Logistic Regression）

周志华《机器学习》李航《统计学习方法》通过逻辑回归的sigmoid函数把线性回归转化到[0,1]之间，这个值为什么可以代表概率？

了不起的赵队·2020-08-19 00:17

第六章 Logistic回归与最大熵模型

参考资料1.李航《统计学习方法》2.github:https://github.com/fengdu78/lihang-codeLogistic模型与最大熵模型都属于对数线性模型是否是线性模型取决于训练的参数是否为线性

bineleanor·2020-08-19 00:45

逻辑斯蒂回归2 -- 最大熵模型概念

声明：1，本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结，不得用作商用，欢迎转载，但请注明出处（即：本帖地址）。

血影雪梦·2020-08-19 00:08

k近邻法的实现：kd树

最近在看李航博士写的《统计学习方法》一书，其中第三章讲述的k近邻法里面有一节是k近邻法的实现：kd树，关于最近邻法的原理，请大家查阅相关资料，作为一个初学者，觉得李航博士的书已经写的很好了，推荐大家阅读

wenwuchige·2020-08-19 00:29

《统计学习方法（李航）》逻辑斯蒂回归与最大熵模型学习总结

作者：jlianghttps://blog.csdn.net/jliang31.重点归纳1）线性回归（1）是确定两种或以上变量间相互依赖的定量关系的一种统计分析方法。（2）模型：y=wx+b（3）误差函数：（4）常见求解方法最小二乘法梯度下降法其它算法：牛顿法或拟牛顿法（5）最小二乘与梯度下降法关系最小二乘法看作优化方法的话，那么梯度下降法是求解方法的一种。梯度下降法是一种解决问题的数据方法，最小

J-JunLiang·2020-08-19 00:09

年中记录与挖坑

记录前一段时间李航大佬跳槽前总结过(原文链接)计算机上达到和人同等的对话能力还非常困难。现在的技术，一般是数据驱动，基于机器学习的。单轮对话有基于分析的，基于检索的，基于生成的方法。

MashoO·2020-08-19 00:37

机器学习算法感知机详解加代码

感知机今天出去跑滴滴看到一个小伙子拿了一本李航的统计学习方法，于是回家又翻出了这本书打算从头到尾写博客介绍一遍各个算法的原理和代码。

ID3·2020-08-19 00:41

新建网站了！Github标星过万的吴恩达机器学习、深度学习课程笔记，《统计学习方法》代码实现，可以在线阅读了！...

吴恩达机器学习、深度学习，李航老师《统计学习方法》，可以说是机器学习入门的宝典。本文推荐一个网站“机器学习初学者”，把以上资源的笔记、代码实现做成了网页版，可以在线阅读了。

湾区人工智能·2020-08-18 13:15

Logistic回归的基本思想与公式推导

无论是在李航老师的《统计学习方法》书中，还是在吴恩达老师的机器学习课程中，都是先假设随机变量x服从Logistic分布，即有如下的分布函数和概率密度函数：可是为什么定义这样的分布函数和概率密度函数，对于初学者来说

兔子爱吃萝北·2020-08-18 12:29

Logistic回归原理分析和实践

Logistic回归原理分析和实践参考资料：机器学习周志华统计学习方法李航一些博客：logistic回归详解,详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解,逻辑回归（LogisticRegression

panfeng_·2020-08-18 12:07

统计学习方法-框架

本文是作者在阅读李航老师《统计学习方法》后，对其中一些重要概念的理解和思考，算是一种形式的笔记，希望跟大家分享，如果转载，请标明作者和出处。

基皮producer·2020-08-18 10:37

李航《统计学习方法》--第一章

统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行分析和预测的一门学科。统计学习三要素：模型，策略，算法模型：在监督学习中，模型就是所要学习的条件概率分布或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。在书中称有决策函数表示的模型为非概率模型，由条件概率表示的模型为概率模型。策略：策略就是按照什么样的标准学习或选择最优的模型。统计学习的目的在于从假设空间中选取最优模型

Icevivina·2020-08-18 07:51

AdaBoost算法公式形象的解释

0.问题引入以上是李航的《统计学习方法》中对AdaBoost算法的描述，虽然后文中也对这里的式子进行了注释，但还不是很明朗，下面是我自己的解读。

comli_cn·2020-08-17 21:29

条件随机场（CRF）

条件随机场应该是机器学习领域比较难的一个算法模型了，难点在于其定义之多（涉及到概率图模型、团等概率）、数学上近似完美（涉及到概率、期望计算，最优化方面的知识），但是其在自然语言处理方面应用效果比较好，所以本文结合李航老师的

张博208·2020-08-17 21:43

李航统计学习方法-感知机理论

感知机模型感知机（perceptron）是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和–1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机学习算法具有简单而易于实现的优点，分为原始形式和

JohnBanana·2020-08-17 17:05

李航《统计学习方法》第一章复习与习题参考解答

1、统计学习三要素除了介绍一些基本概念之外，李航《统计学习方法》第一章的重点是提出了统计学习的三要素，即方法=模型+策略+算法更确切地说，统计学习方法包括模型的假设空间、模型选择的准则以及模型学习的算法

徐子尧·2020-08-17 17:59

李航（统计学习方法第二章）

第二章感知机感知机是二分类的线性分类模型，分为原始形式和对偶形式。是神经网络和支持向量机的基础。介绍感知机模型叙述感知机的学习策略（特别是损失函数）介绍感知机学习算法（包括原始形式和对偶形式），并验证算法收敛性。2.1感知机模型定义2.1（感知机）假设输入空间（特征空间）是 χ⊆Rn \,\chi\subseteqR^n\,χ⊆Rn，输出空间是 Y={+1,−1} \,Y=\{+1,-1\}\,Y

公琉星追·2020-08-17 17:34

李航第二章课后习题答案

2.1**题目描述：**Minsky和Papert指出：感知机是线性模型，所以不能表示复杂的函数。如异或（XOR），验证感知机为什么不能表示异或。解：异或的输入输出如下：x(1)x(1)11-11-11-111-1-1-1接下来我们简单证明一下异或操作的线性不可分性：证：利用反证法，假设存在一个超平面wx+b=0wx+b=0，满足条件：y(w⋅x+b)>0y(w⋅x+b)>0∀x∈{(1,1)T,

weixin_43780431·2020-08-17 17:00

支持向量机SVM（一）原始函数与对偶函数

所有公式已做手动推导，为了美观（字丑），将选择贴出周老先生西瓜书的一些结论和李航统计机器学习和南瓜书推导过程。

请叫我Ricardo·2020-08-17 16:14

李航《统计学习方法》第二版学习笔记汇总（包括理论和技术部分，持续更新ing...）

目录第1章统计学习及监督学习概论理论部分第2章感知机理论部分技术部分第3章k近邻法理论部分技术部分第4章朴素贝叶斯法第5章决策树第6章逻辑斯蒂回归与最大熵模型第7章支持向量机第8章提升方法第9章EM算法及其推广第10章隐马尔可夫模型第11章条件随机场第1章统计学习及监督学习概论理论部分第2章感知机理论部分技术部分第3章k近邻法理论部分技术部分第4章朴素贝叶斯法(待更新…)第5章决策树(待更新…)第

城序猿·2020-08-17 16:08

统计学方法（李航）第三章学习总结

完整的kd最近邻算法Python实现：https://www.jb51.net/article/146976.htmhttps://www.jb51.net/article/133242.htm书中例题二星号表示要查询的点（2,4.5）通过二叉搜索，顺着搜索路径很快就能找到最邻近的叶子节点（4,7），首先假设（4,7）为当前最近邻点，计算其与目标查找点的距离为3.202。回溯到（5,4），计算其与

SIVAN_HU·2020-08-17 16:01

李航《统计学习方法》第二版-第3章 k近邻法浅见

李航《统计学习方法》第二版-第3章k近邻法浅见3.0k近邻简单介绍3.1k近邻算法3.2k近邻模型3.2.1模型3.2.2距离度量3.2.3k值选择3.2.4分类决策规则3.3kd树总结3.0k近邻简单介绍

王伟王胖胖·2020-08-17 15:34

李航《统计学习方法》第二版-第1章统计学习及监督学习概论1.6-1.8 浅见

李航《统计学习方法》第二版-第1章统计学习及监督学习概论1.6-1.8浅见1.6泛化能力1.7生成模型和判别模型1.8监督学习应用1.6泛化能力也就是我们所说的对未知数据的适应能力，预测能力，这个才是我们要的

王伟王胖胖·2020-08-17 15:02

李航统计学习方法总结与整理

感知机（perception）：二类分类的线性模型，输入为实例的特征向量，输出为实例的类别，取+1，-1。对应于输入空间中将样本实例分成正负两类的分离超平面，属于判别模型。其损失函数为：所有误分类点到分类超平面的距离总和。目的为最小化这个距离总和。其中，为误分类点到分离超平面距离。L是w,b的连续可导函数。其包括原始形式和对偶形式，采用随机梯度下降法进行求解。首先任意选择一个超平面w0，b0，然后

w_zhao·2020-08-17 15:55

统计学习方法-李航（第5章决策树笔记)

这篇文章从思想的角度上看李航所表述的决策树，用简单易理解的方向去解释决策树。提出常见的三种决策树方法ID3,C4.5，同时分析他们的不同。

yealxxy·2020-08-17 15:58

李航·统计学习方法笔记·第6章 logistic regression与最大熵模型（2）·最大熵模型

李航·统计学习方法笔记·第6章logisticregression与最大熵模型（2）·最大熵模型标签（空格分隔）：机器学习教程·李航统计学习方法李航统计学习方法笔记第6章logisticregression

tina_ttl·2020-08-17 15:02

李航·统计学习方法笔记·第6章 logistic regression与最大熵模型（1）·逻辑斯蒂回归模型

第6章logisticregression与最大熵模型（1）·逻辑斯蒂回归模型标签（空格分隔）：机器学习教程·李航统计学习方法第6章logisticregression与最大熵模型1逻辑斯蒂回归模型Logisticdistribution1

tina_ttl·2020-08-17 15:29

推荐频道

李航