李航统计学习笔记第20页

李航《统计学习方法》最新资源：笔记、Python代码一应俱全！

「2019Python开发者日」全日程揭晓，请扫码咨询↑↑↑来源|大鱼AI（ID:DayuAI-Founder）李航的《统计学习方法》可以说是机器学习的入门宝典，许多机器学习培训班、互联网企业的面试、笔试题目

Python大本营·2020-06-29 04:13

再见2017，欢迎2018

4.读的书《机器学习》周志华《统计学习方法》李航《数据挖掘第三版》《谈修养》朱光潜《少有人走的路》《机器学习实战》《社会媒体挖掘》5.学会了Python语言。虽然还不熟练后期有待加强。6.

辰星晓月·2020-06-29 03:33

《机器学习实战》笔记——第三章：决策树实战

1说明该书主要以原理简介+项目实战为主，本人学习的主要目的是为了结合李航老师的《统计学习方法》以及周志华老师的西瓜书的理论进行学习，从而走上机器学习的“不归路”。

圣西罗风之子·2020-06-28 22:13

[MLReview] k-NearestNeighbor k邻近算法代码实现

二、缺点：1、原始样本数据不均衡，某一类样本数量很大2、可理解性差，对比决策树三、算法及数学推导（截图出来看，引用自李航老师的《统计学习方法》）显而易见，在knn中并没有看见所谓的“学习算法”。

gdtop818·2020-06-28 20:29

李航《统计学习方法》——第六章逻辑回归和最大熵模型笔记及理解+习题

文章目录1模型1.1二项逻辑回归模型1.1.1逻辑斯蒂分布1.1.2线性模型1.1.3二项逻辑回归模型角度一角度二1.1.4多项逻辑回归1.1.5逻辑回归形象化理解1.2最大熵模型1.2.1最大熵原理1.2.2最大熵模型的定义2策略2.1二项逻辑回归模型2.2最大熵模型的学习3算法逻辑回归的Python实现补充最大熵模型和逻辑回归模型的关系最大熵模型的优缺点4习题1模型1.1二项逻辑回归模型1.1

李滚滚·2020-06-28 19:44

Adaboost理解笔记(matlab实现)

基本原理参考：李航的《统计学习方法》AdaBoos

weixin_34378767·2020-06-28 18:55

决策树ID3算法python实现

在周志华的西瓜书和李航的统计机器学习中对决策树ID3算法都有很详细的解释，如何实现呢？

weixin_34261415·2020-06-28 15:33

李航：分布式存储 Ceph 介绍及原理架构分享

出品|滴滴技术作者|李航前言：本文主要从架构简介使用场景，以及内部IO流程、心跳机制、通信框架、CRUSH算法、QOS等多个方面逐渐介绍分布式存储系统Ceph的特性。希望对你有所帮助。

weixin_34107955·2020-06-28 11:07

ListNet 算法简介

ListNet算法就是ListWise方法的一种，由刘铁岩，李航等人在ICML2007的论文LearningtoRank:FromPairwiseapproachtoListwiseApproach中提出

weixin_30845171·2020-06-28 01:39

李航统计学习方法（六）----逻辑斯谛回归与最大熵模型

本文希望通过《统计学习方法》第六章的学习，由表及里地系统学习最大熵模型。文中使用Python实现了逻辑斯谛回归模型的3种梯度下降最优化算法，并制作了可视化动画。针对最大熵，提供一份简明的GIS最优化算法实现，并注解了一个IIS最优化算法的Java实现。本文属于初学者的个人笔记，能力有限，无法对著作中的公式推导做进一步发挥，也无法保证自己的理解是完全正确的，特此说明，恳请指教逻辑斯谛回归模型逻辑斯谛

文子轩·2020-06-28 00:18

《统计学习方法（李航）》讲义第10章隐马尔科夫模型

隐马尔可夫模型(hiddenMarkovmodel,HMM)是可用于标注问题的统计学习模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型.本章首先介绍隐马尔可夫模型的基本概念，然后分别叙述隐马尔可夫模型的概率计隐马尔可夫模型在语音识别、自然语言处理、算算法、学习算法以及预测算法.生物信息、模式识别等领域有着广泛的应用隐马尔科夫模型Python实战：https://github.com

weixin_30685029·2020-06-27 23:29

李航-第6章逻辑斯蒂回归与最大熵模型

线性回归和逻辑回归的联系在我理解，线性回归一般预测解决连续值预测的问题，对已有的数据进行线性拟合，运用最小二乘法等，找到最佳拟合曲线，然后得到线性模型，来进行预测。逻辑回归的模型是一个非线性模型，sigmoid函数，又称逻辑回归函数，逻辑回归用来解决分类的问题，输出的属于某个类别的概率。但是它本质上又是一个线性回归模型，因为除去sigmoid映射函数关系，其他的步骤，算法都是线性回归的。可以说，逻

瘦长的丰一禾·2020-06-27 20:41

李航-统计学习方法-笔记-7：支持向量机

简述支持向量机：是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机。核技巧：SVM还包括核技巧，这使它成为实质上的非线性分类器。间隔最大化：SVM的学习策略是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM的学习算法是求解凸二次规划的最优化算法。线性可分SVM：当训练数据线性可分时，通过硬间隔最大化，学习

weixin_30485291·2020-06-27 20:50

机器学习的分类算法——集成学习

比如在周志华的西瓜书中，称为集成学习/多分类器系统/基于委员会的学习；在李航的《统计学习方法》中，称提升方法；在《数据挖掘导论》中，又称为组合方法/分类器组合。

weixin_30273763·2020-06-27 15:41

李航《统计学习方法》第四章——用Python实现朴素贝叶斯分类器（MNIST数据集）

wds2006sdo·2020-06-27 14:24

支持向量机学习笔记--实现篇（三）

参考的书籍为李航的《统计学习方法》和PeterHarrington的《机器学习实战》，参考的学习算法为LIBSVM，以及一篇求解凸二次规划问题的论文-SequentialMinimalOptimiz

Demon的黑与白·2020-06-27 09:36

机器学习--决策树python实现案例

Kalankalan·2020-06-27 09:37

计算机视觉/机器学习/深度学习经典书籍整理

最经典的两本书）PatternRecognitionandMachineLearning.PDFMachineLearning:AProbabilisticProspective.PDF统计学习方法-李航

MultiMediaGroup_USTC·2020-06-27 08:52

分类与回归树（classification and regression tree，CART）之回归

分类与回归树（classificationandregressiontree，CART）之回归写在前面：因为正在看提升树，所以又去看了李航老师《统计学习方法》的CART算法的回归部分，看完莫名想起了本科导师的名言

天泽28·2020-06-27 03:06

人工智能技术体系-机器学习基础第一讲

1.基础学习资料（1）统计学习方法-李航著此书偏向原理和推导。包括对感知机、k近邻算法、朴素贝叶斯法、决策树、逻辑斯谛回归、支持向量机（SVM）等详细定义和描述。契合上篇文章中的技术体系图内容。

五癫·2020-06-26 19:37

CART回归树算法过程

但是在李航老师的《统计学习方法》一书中，并没有详细介绍回归树，更多的是介绍分类树，所以有必要对CART回归树进行简单介绍，有利于对CART树用于回归的操作，因为后续GBDT算法也是在CART回归树的基础上进行的

IT独白者·2020-06-26 15:03

隐马尔科夫模型（Hidden Markov Model，HMM）

前言在李航的《统计学方法》第十章有对隐马尔科夫模型（HiddenMarkovModel，HMM）比较详细的介绍和推导公式，我参考公式结合中文分词应用实现了隐马模型观测序列的生成、前向算法、维特比算法。

狮子座明仔·2020-06-26 09:45

提升树GBDT详解

提升树GBDT详解参考资料及博客：李航《统计学习方法》GradientBoostingwikiGBDT理解二三事GBDT（MART）迭代决策树入门教程|简介前言ForXgboost:在前几篇笔记中以及详细介绍了决策树及提升方法的相关原理知识

我曾经被山河大海跨过·2020-06-26 07:22

对于EM算法的理解，看这一篇就够了

其中对EM有两种理解，第一种是通俗的简单理解，另外一种对应的是李航的《统计学习方法》中的解释，其实两种理解都是一样的，只是角度不同，今天主要将一下通俗理解，改天有空再详细讲解一下《统计学习方法》的讲解（

近光·2020-06-26 05:42

CH4朴素贝叶斯法|4.2.3贝叶斯估计《统计学习方法》-学习笔记

文章原创,最近更新：2018-06-23参考链接:1、理解朴素贝叶斯分类的拉普拉斯平滑前言：通过参考《理解朴素贝叶斯分类的拉普拉斯平滑》的方法结合李航的案例写的读书笔记,根据自己的理解写的文章,具体如下

durian221783310·2020-06-26 03:51

机器学习-笔记目录

吴恩达的网课《深度学习》共5个部分周志华的西瓜书《机器学习》李航的《统计学习方法》斋藤康毅的《深度学习入门》TomHope,YehezkelS.ResheffItayLieder《Tensorflow学习指南

mayavii·2020-06-26 00:48

梯度下降法、随机梯度下降法、批量梯度下降法及牛顿法、拟牛顿法、共轭梯度法

http://ihoge.cn/2018/GradientDescent.htmlhttp://ihoge.cn/2018/newton1.html引言李航老师在《统计学习方法》中将机器学习的三要素总结为

ihoge·2020-06-25 20:40

AI公开课：19.04.04李航—字节跳动AILab总监《深度学习与自然语言处理：评析与展望》课堂笔记以及个人感悟

AI公开课：19.04.04李航—字节跳动AILab总监《深度学习与自然语言处理：评析与展望》课堂笔记以及个人感悟导读1、关于李航教授李航，字节跳动科技有限公司人工智能实验室总监，北京大学、南京大学客座教授

一个处女座的程序猿·2020-06-25 19:26

Python不调包实现逻辑回归和自动求导

LR具体的推导可以参考李航老师的统计学习方法为什么LR损失函数不选MSE,而采用极大似然估计(即交叉熵损失)参考：https://www.cnblogs.com/smartwhite/p/9109815

seeInfinite·2020-06-25 19:40

统计学习(第一章)李航最小二乘拟合正弦函数，正则化

1.用最小二乘法拟合曲线"用目标函数y=sin2πx,加上一个正态分布的噪音干扰，用多项式去拟合"importnumpyasnpimportmatplotlib.pyplotaspltfromscipy.optimizeimportleastsq#最小二乘defreal_f(x):#目标函数returnnp.sin(2*np.pi*x)deffit_f(p,x):#多项式f=np.poly1d(p

是鲤鱼呀·2020-06-25 17:48

正则化项作用、位置及思想原理

之前一直搞不太懂正则化项是什么东西，最近在看XGBOOST原理及李航的《统计学习方法》，根据《统计学习方法》中所说，目前大概有一个理解，先贴在下面。

明月皎皎·2020-06-25 12:25

决策树算法实现--最佳特征的选择

南晨Inc·2020-06-25 10:28

MLP多层感知机的认识

目录MLP（MultiLayerPerception）一、机器学习（周志华）和统计学习方法（李航）1.感知机与多层网络1.1感知机模型1.2感知机学习策略1.3感知机学习算法1.4感知机学习算法的收敛性

二胖_pro·2020-06-25 07:37

多项式拟合与线性回归

这个问题在《统计学习方法》李航的第一章中介绍。不过其中1.18带入后的结果不正确。具体错误见勘误表http://www.hangli-hl.com/uploads/3/

zatrix·2020-06-25 05:28

机器学习入门之《统计学习方法》笔记整理——感知机

从头开始学习李航老师的《统计学习方法》，这本书写的很好，非常适合机器学习入门。

Quanfita·2020-06-25 05:49

SVM 合页损失函数

至于为什么叫这个名字，李航老师的《统计学习方法》上是这么说的：由于函数形状像一个合页，故命合页损失函数。

北冥有小鱼·2020-06-25 02:57

不给100万彩礼不结婚，小伙现场娶别人，这下出名了！

第1章下辈子，早点娶我“李航，我不知道，这条短信你能否收到。”“这是第一次给你发短信，也许是最后一次。”“我可能没办法当你的新娘了。”“下辈子，早点来娶我……”颤抖的声音，在阴郁的手术室回荡。

小果哥哥·2020-06-25 00:00

机器学习之朴素贝叶斯（一）思想及典型例题手写实现

用一个引例介绍后面两个公式：村子里有三个小偷，事件B={村子失窃}，已知小偷们的偷窃成功率依次是，除夕夜去偷的概率依次是全概率公式：求：村庄除夕夜失窃的概率贝叶斯公式：求：在村子失窃的条件下，偷窃者是某个小偷的概率朴素贝叶斯李航

繁华三千东流水·2020-06-24 23:38

统计学习笔记（3）——k近邻法与kd树

在使用k近邻法进行分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决的方式进行预测。由于k近邻模型的特征空间一般是n维实数向量，所以距离的计算通常采用的是欧式距离。关键的是k值的选取，如果k值太小就意味着整体模型变得复杂，容易发生过拟合，即如果邻近的实例点恰巧是噪声，预测就会出错，极端的情况是k=1，称为最近邻算法，对于待预测点x，与x最近的点决定了x的类别。k值得增大意味着整体的

qll125596718·2020-06-24 22:17

统计学习笔记（4）——朴素贝叶斯法

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。简单来说，朴素贝叶斯分类器假设样本每个特征与其他特征都不相关。举个例子，如果一种水果具有红，圆，直径大概4英寸等特征，该水果可以被判定为是苹果。尽管这些特征相互依赖或者有些特征由其他特征决定，然而朴素贝叶斯分类器认为这些属性在判定该水果是否为苹果的概率分布上独立的。尽管是带着这些朴素思想和过于简单化的假设，但朴素贝叶斯分类器在很多复杂的现实

qll125596718·2020-06-24 22:17

统计学习笔记（2）——感知机模型

感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。1.感知机模型感知机模型如下：f(x)=sign(w*x+b)其中，x为输入向量，sign为符号函数，括号里面大于等于0，则其值为1，括号里面小于0，则其值

qll125596718·2020-06-24 22:16

理解EM算法

介绍EM算法的材料里，我目前看过且觉得比较好的就是NG老师的CS229讲义和李航老师的统计学习方法。

YiyangJump·2020-06-24 21:44

李航·《统计学习方法》学习笔记

第一章统计学习的方法概论1.1统计学习概述1.统计学习的过程：2.统计学习的分类：3.监督学习的分类3.1生成方法与判别模方法3.1.1生成方法3.1.1判别方法3.2分类问题、标注问题和回归问题3.2.1分类问题3.2.2标注问题3.2.3回归问题1.2模型1.3策略1.3.1损失函数1.3.2经验损失、期望损失和结构损失1.3.3经验风险最小化、结构风险最小化和目标函数1.4算法1.5模型评估

promisejia·2020-06-24 20:49

机器学习/数据挖掘之中国大牛

playoffs·2020-06-24 20:22

《统计学习方法》python代码资料

《统计学习方法》是李航的一本书，是比较基础经典的一本书，书中更多的是对基础传统机器学习的理论介绍，没有任何代码，这算是对代码的补充。

on2way·2020-06-24 18:26

李航《统计学习方法》习题8.1

解题：因为题中假设弱分类器为决策树，可采用CART二叉分类树。1、初始化数据权值分布：D=(w11,w12,...,w110)=(0.1,0.1,...,0.1)w1i=0.1，i=1,2,....,102、计算各特征的基尼系数（为计算方便，就取深度为1的树）：根据基尼系数的计算公式：求得：gini（D，潜力=2）的基尼系数最小，所以第一个选潜力等于2和非2为划分点。3、计算误差率，分类器的权重，

魔术师_·2020-06-24 13:03

MLAPP————第一章简介

至今在机器学习方面都是零零散散的学，西瓜书，李航的统计学习方法，也都并没有看完。所以主要想通过此博客来勉励促进自己，希望自己能够一步一个脚印坚持走下去，不想半途而废。

QQQiZZZ·2020-06-24 13:21

【用python搞机器学习与人工智能学习心得与经验】

辗转反侧，后来觉得时自己的机器学习理论基础不够，又买了李航的统计学习方法与周志华的机器学习，再结合实验室的研究方向，一步步学习与补充

Wanderist_ZK·2020-06-24 12:48

机器学习笔记（一）逻辑斯蒂回归LR

本文是在学习完李航老师的《统计学习方法》后，在网上又学习了几篇关于LR的博客，算是对LR各个基础方面的一个回顾和总结。一简述逻辑斯蒂回归是一种对数线性模型。

Edith077·2020-06-24 11:11

《统计学习方法》摘录-朴素贝叶斯法

#摘录自《统计学习方法》李航#朴素贝叶斯法(naïveBayes,NB)是基于贝叶斯定理与特征条件独立假设的分类方法。属于生成模型。

Cris_Lee卡卡卡·2020-06-24 09:47

推荐频道

李航统计学习笔记