第1章统计学习方法概论《统计学习方法》Python代码实现【转载自Github开源项目】https://github.com/fengdu78/lihang-code1．统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行分析与预测的一门学科

也是好久没更新了，前面项目基础开发的工作已经基本完结，但又给了我两个任务，一个是做一个QA系统，一个是做一个推荐系统，想想我是基本不会啊，于是只是学呗，网上找了一些资料，人家说先看李航老师的书，于是做个笔记

统计学习以方法为中心，统计学习方法构建模型并应用模型进行预测与分析。统计学习是概率论、统计学、信息论、计算理论、最优化理论及计算

感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型一.模型介绍和学习策略1.模型介绍2.几何含义3.学习策略数据集的线性可分性二.梯度下降法1.概念2.算法3.原理三.原始形式首先任意选取一个超平面，然后用梯度下降法不断极小化目标函数在这个过程中一次随机选取一个误分类点使其梯度下

一.简介1.直观理解定义：是一种基本的分类与回归方法主要思想：假定给定一个训练数据集，其中实例标签已定，当输入新的实例时，可以根据其最近的K个训练实例的标签，预测新实例对应的标注信息分类问题：对新的实例，根据与之相邻的K个训练实例的类别，通过多数表决等方式进行预测回归问题：对新的实例，根据与之相邻的K个训练实例的标签，通过均值计算进行预测2.算法3.误差率二.三要素1.模型K近邻法不具有显性的学习

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y朴素贝叶斯法实现简单，学习和预测的效率都很高，是一种常用的方法朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型一.贝叶斯定理贝叶斯思维：先验概率→调整因子→后验概率1.条件概率2.贝叶斯定理

李航《统计学习方法》课后习题答案（第2版）【李航课后习题解答+书中疑点推导+算法代码实现+可私聊耐心解答(48小时内回复)，包会！！】

一.简介统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科1.统计学习方法的步骤①得到一个有限的训练数据集合②确定学习模型的集合（模型）③确定模型选择的准则（策略）④实现求解最优模型的算法

本文为《统计学习方法》的读书笔记目录隐马尔可夫模型的基本概念隐马尔可夫模型的定义观测序列的生成过程隐马尔可夫模型的3个基本问题概率计算算法直接计算法前向算法(forwardalgorithm)后向算法(

一个简单的例子朴素贝叶斯算法是一个典型的统计学习方法，主要理论基础就是一个贝叶斯公式，贝叶斯公式的基本定义如下：这个公式虽然看上去简单，但它却能总结历史，预知未来。

参考书籍机器学习，周志华，清华大学出版社，2016统计学习方法，李航，清华大学出版社，2012DeepLearning,I.Goodfellow,Y.BengioandA.Courville,2016课程推荐

www.bilibili.com/video/BV1BW411P7gV悉尼科大徐亦达https://www.bilibili.com/video/BV1MW41167Rfshuhuai大神如果是喜欢看书的，请参考李航老师

频率派频率派的思想就衍生出了统计学习方法，统计学习方法的重点在于优化，找lossfunction。

参考资料（大量参考了第一个链接，里面讲的非常详细）：https://zhuanlan.zhihu.com/p/77151308统计学习方法（李航）https://zhuanlan.zhihu.com/p

《统计学习方法》系列笔记的第一篇，对应原著第二章。大量引用原著讲解，加入了自己的理解。对书中算法采用Python实现，并用Matplotlib可视化了动画出来。

感知机Perceptron由Rosenblatt于1957年提出，可以说是神经网络与支持向量机的爸爸。感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求

书中涉及到一些机器学习相关的内容,在统计学习方法读书笔记和西瓜书读书笔记中有所记录,所以只简单带过.本书源代码下载地址书中使用的python技巧字典的setdefault(key,value)方法,作用是如果键不在字典中

统计学习方法读书笔记之kNN算法k近邻是什么k近邻法是机器学习中最基本的分类和回归方法，也称为kNN算法。通常k近邻法用于分类问题。k近邻法假定给定一个训练数据集，其中实例类别已定。

绪论统计学习方法主要是讲李航博士统计学习方法那本书，一开始主要讲解了一些基本概念。作业打卡L1和L2范式l1范数的数学定义是所有数绝对值之和。在坐标平面上它是个正方形。l2范数的数

**注：本博客为李航《统计学习方法》与周志华《机器学习》读书笔记，虽然有一些自己的理解，但是其中仍然有大量文字摘自李老师和周老师的书籍内容。

点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达前言决策树是机器学习模型较常用的一种方法，李航老师《统计学习方法》详细的描述了决策树的生成和剪枝，本文根据书中的内容，对决策树进行了总结

python降维中特征维度的问题最近在学PCA降维，参考的是李航老师的统计学习方法第二版，自己上手编程时发现按照李航老师P310页公式16.39来定义样本数据时出现了一些问题，特此记录以供日后翻阅sklearn

一：贝叶斯原理朴素贝叶斯分类算法是一个典型的统计学习方法，主要的理论基础就是贝叶斯公式。贝叶斯公式定义如下所示：先验概率：通过经验来判断事情发生的概率。后验概率：后验概率就是发生结果之后，推测原因的概

大部分都是基于《西瓜书》和《统计学习方法》的一些日常记录，本人学识浅薄，如果有存在理解、记录偏差的地方，希望大家能帮忙指出一下，笔者不胜感激！~第一章1.1引言什么是机器学习？

第1章绪论学习心得由于我之前已经学过了李航老师的《统计学习方法（第2版）》，所以这里面的概念没有啥不懂得，不会像教程说的有些难，毕竟学过一部分了。

2022.08.27李航老师《统计学习方法》：一.统计学习及监督学习概论#本文目的就是为学者简化学习内容，提取我认为的重点把书读薄;#本文重点：1.5正则化理解一.统计学习及监督学习概论1.4+1.5L1

1、训练误差与测试误差不同的学习方法会给出不同的模型。当损失函数给定时，基于损失函数的模型的训练误差和模型的测试误差就成为学习方法评估的标准。训练误差的大小，对判断给定的问题是不是一个容易学习的问题有意义。也就是说，一个问题越容易学习，那么它的训练误差就越小。但这本质上不重要。测试误差，反映了学习方法对未知的测试数据集的预测能力。测试误差小的方法具有更好的预测能力，是有效的方法。通常将学习方法对未

PS：所写内容为读书笔记，如需了解更详细内容请购买正版书籍1.4模型评估与选择1.4.1训练误差和测试误差训练误差：模型对训练集预测结果的误差测试误差：模型对测试集测试结果的误差1.4.2过拟合与模型选择过拟合（over-fitting）：学习时选择的模型所包含的参数过多，以至于出现这一模型对已知数据预测很好，但对未知数据预测很差的现象。当模型的复杂度增大时，训练误差会逐渐减小并趋近于0，而测试误

1基本概念1.1马尔科夫链（维基百科）马尔可夫链（英语：Markovchain），又称离散时间马尔可夫链（discrete-timeMarkovchain，缩写为DTMC），因俄国数学家安德烈·马尔可夫得名，为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作

本篇文章为个人学习EM算法框架时的笔记，其中主要参考了李航老师的《统计学习方法》这本书以及PRML，中间有一些内容是从其他一些网络资料上摘抄下来的，具体来源比较杂，这里就不一一列出了，如有侵权请联系删除

参考书：《统计学习方法》《TheModelThinker》文章目录隐马尔可夫模型（HiddenMarkovModel,HMM）1.马尔可夫宿命论1.1案例1.2宿命2.马尔可夫过程3.隐马尔可夫模型3.1

决策树看完本文再学习《统计学习方法》相应内容，效果更好如果需要《统计学习方法》第二版pdf，可私信领取1.决策树思想决策树显然是像人那样做决策，比如挑选苹果我们可以先看颜色，我们觉得红色的可能好些，我们再在红色的苹果中看纹理等等

决策树理解（一）参考书籍：《机器学习》周志华，第1版《统计学习方法》李航，第2版用来记录自己对书中知识的理解，加强自己的理解和记忆，同时提出自己迷惑不解的地方，提高自己编辑的表达能力。

李航《统计学习方法》：d∗=maxα,β;αi≥0θD(

第1章统计学习方法概论监督学习统计学习三要素模型策略（经验风险和结构经验风险）判别模型与生成模型补充（含课后作业）MLE、MAP和贝叶斯估计证明经验风险最小化等价于极大似然估计（在特定条件下）证明结构风险最小化与最大后验概率等价

虽然之前粗略的学过一点皮毛，但是当初笔记做的实在不好，这次趁着看吴恩达老师的机器学习教学视频以及李航老师的《统计学习方法》，重新整理一下自己的笔记，同时也是整理一下自己的思路。

并且以此为依据可以从其他未知图像中检测出相似或相同的该对象A.在特征提取上,传统的图像处理都是自行设计提取固定特征的算子,在深度学习上主要是利用CNN网络来广泛的提取图像的特征.笔记以吴恩达课程为基础,全面介绍机器学习相关术语,再以李航

李航《统计学习方法》课后习题答案（第2版）【李航课后习题解答+书中疑点推导+算法代码实现+可私聊耐心解答(48小时内回复)，包会！！】

西瓜书研读系列：西瓜书研读——第三章线性模型：一元线性回归西瓜书研读——第三章线性模型：多元线性回归主要教材为西瓜书，结合南瓜书，统计学习方法，B站视频整理~人群定位：学过高数会求偏导、线代会矩阵运算、

最近学习李航《统计学习方法》，在github上找到了这本书对应的源码，决定自己跟着敲一敲代码，也感谢代码的贡献者，链接如下：https://github.com/fengdu78/lihang-codegithub.com

模型：加法模型、每个基学习器为CART回归树桩损失函数：平方误差迭代停止条件：基学习器数达到上限、或整体误差低于设定值importnumpyasnpimportmathimportmatplotlib.pyplotasplt#准备数据x=np.arange(1,11,1)threshold=np.linspace(1.5,9.5,num=9)y=np.array([5.56,5.70,5.91,6

相比《统计学习方法》、《机器学习》来说，《数学之美》没有那么多的公式理论，全是科普性质的（开拓眼界），其中也不乏一些数学原理的解释，通俗易懂。

知识源于——《统计学习方法（第二版）》李航感知机（perception)一种二分类的线性分类模型。输入为实例的特征向量，输出为实例的类别（二分类类别为-1，+1二值）。

实体特征表示2.3图像特征表示2.4输入层2.5训练与分类3实验3.1数据集与评价方法3.2实验环境与模型参数3.3对比实验结果与分析4结术语参考文献:摘要：传统文本分类方法主要是基于单模态数据所驱动的经验主义统计学习方法

illustrated-transformer2.AttentionIsAllYouNeed：https://arxiv.org/abs/1706.03762神经网络入门1.CS231n系列CS231n课程笔记翻译：反向传播笔记-知乎统计学习方法

本章节内容参考了李航博士的《统计学习方法》本节不同之处在于分析讨论了多维度空间的高斯混合模型1高斯混合模型推导1.1高斯混合模型定义：高斯混合模型是指具有如下形式的概率分布模型：p(y∣θ)=∑k=1Kαkϕ

《统计学习方法》是计算机及其应用领域的一门重要的学科。

NLP课程（一，NLP概述和应用场景）AI工程师核心技能：现实生活中问题—>数学优化问题—>通过合适的工具来解决。whatisNLPNLP=NLU+NLG·NLU：语音/文本-->意思（understanding）·NLG:意思—>文本/语音(generate)NLPisHarder(vsComputerVision)Multiplewaystoexpress:(多语一意)·凯美瑞是日本人设计的·

以下只给出了感知机算法的Python代码实现，想从头开始了解机器学习以及感知机模型的推荐李航老师的统计学习方法蓝宝书感知机算法原始形式#感知机(原始形式)importnumpyasnp#创建测试集，包含三个实例点和两个类别

1正则化机器学学习中的正则化相关的内容可以参见李航的书：统计学习方法。参阅者可以先了解有关的内容。正则化是用来降低overfitting（过拟合）的，减少过拟合的的其他方法有：增加训练集数