监督学习概论与统计学习三要素思维来自《统计学习方法》-李航凹脑图在线浏览地址：统计学习三要素才学疏浅，欢迎评论指导如想更方便地阅览思维图欢迎前往我的个人小站：www.wengjj.ink

适用问题监督学习主要包括分类、标注、回归问题。标注问题是从观测序列到标记/状态序列的过程，相比二分类问题，其数目上是指数级区别。模型非概率模型，是指直接由输入X得到输出Y，或者得到输出的条件概率分布P（Y｜X）的模型，对于监督学习也叫做判别模型。感知机、k近邻、支持向量机SVM、提升方法是非概率模型；概率模型首先学习联合概率密度P（X，Y），然后求出条件概率密度P（Y｜X），在监督学习中称为生成模

1.1统计学习（统计机器学习）定义：关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。

又称为统计机器学习。“如果一个系统能够通

1.1导论统计学习监督学习的实现步骤:得到一个有限的训练数据集合确定模型的假设空间，也就是所有的备选模型确定模型选择的准则，即学习的策略实现求解最优模型的算法通过学习方法选择最优模型利用学习的最优模型对新数据进行预测或分析监督学习训练集：T={(x1,y1),(x2,y2),⋯ ,(xN,yN)}T=\left\{\left(x_{1},y_{1}\right),\left(x_{2},y_{2}

文章目录统计学习及监督学习概论1.1统计学习1.2统计学习的分类1.3统计学习方法三要素1.4模型评估与模型选择1.5正则化与交叉验证1.6泛化能力1.7生成模型与判别模型1.8监督学习应用统计学习及监督学习概论监督学习是从标注数据中学习模型的机器学习问题，是统计学习或机器学习的重要组成部分。1.1统计学习1.统计学习的特点统计学习（statisticallearning）是关于计算机基于数据构建

总的来说，统计学习也称为统计机器学习。

频率学派思想频率学派逐步发展成统计机器学习(StatisticalMachineLearning)。频率学派中最显著的特点是：将概率分布

主要的参考书目是李航的《统计学习方法》，并实现了书中部分例题和习题的解答，关于隐马尔可夫模型的理论知识不再赘述，这方面的经典论文和网上的优秀博客很多，这里介绍两篇经典的论文：1，BilmesL,etal.AGentleTutorialofEMAlgorit

隐马尔可夫模型–李航《统计学习方法》第2版第10章（附详细推导过程）一、基本概念隐马尔可夫模型（hiddenMarkovmodel，HMM）是时序概率模型，描述由一个隐藏的马尔可夫链随机生成的不可观测的状态随机序列

10.4预测算法（解决Decoding：S^=argmaxSP(S∣O,λ)\hat{S}=argmax_{S}P(S|O,\lambda)S^=argmaxSP(S∣O,λ)）下面介绍HMM预测的两种算法：近似算法与维特比算法（VIterbialgorithm）。10.4.1近似算法近似算法思想：在每个时刻t选择在该时刻最有可能出现的状态it∗i_{t}^*it∗，从而得到一个状态序列S=(s1

10.2概率计算方法（解决Evaluation：Givenλ，求P(O|λ)）10.2.1直接计算法1.给定HMM模型λ=(A,B,π)\lambda=(A,B,\pi)λ=(A,B,π)和观测序列O=(o1,o2,⋅⋅⋅,oT)O=(o_{1},o_{2},\cdot\cdot\cdot,o_{T})O=(o1,o2,⋅⋅⋅,oT)，概率计算问题需要计算在模型λ下观测序列O出现的概率P(O∣λ)

第10章隐马尔可夫模型隐马尔可夫模型（HiddenMarkovmodel,HMM）是可用于序列标注问题的统计学模型，描述了由隐马尔可夫链随机生成观察序列的过程，属于生成模型。隐马尔可夫模型：隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观察而产生观察随机序列的过程10.1基本概念10.1.1隐马尔可夫模型的定义隐马尔可夫模型（Hi

第10章隐马尔可夫模型隐马尔可夫模型(hiddenMarkovmodel,HMM)是可用于标注问题的统计学习模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。10.1隐马尔可夫模型的基本概念定义10.1(隐马尔可夫模型)隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。隐藏的马尔可夫链随机

10.3学习问题（解决Learining：λMLE=argmaxλP(O∣λ)\lambda_{MLE}=argmax_{\lambda}P(O|\lambda)λMLE=argmaxλP(O∣λ)）10.3.1监督学习方法假设已给出训练数据包含S个长度相同的观测序列和对应的状态序列(O1,I1),(O2,I2),⋅⋅⋅,(OT,IT){(O_{1},I_{1}),(O_{2},I_{2}),\c

维特比算法的python简单实现简单介绍实现了李航书籍p210的例子，例子非常经典。我有三个盒子，每个盒子都有红球和白球，我观测到了三次结果：红、白和红，现在需要求出盒子的可能序列是什么。

HMM的前向算法和维特比算法已将在上一个博客讲过了，这节给出python的实现，例子是以李航老师《统计学习方法》上的算法和例题进行实现。

python实现李航第十章HMM算法的前向、后向、维特比算法前向算法后向算法维特比算法前向算法理论部分参考链接：前向算法问题：给出λ\lambdaλ,求P(O∣λ)P(O|\lambda)P(O∣λ)以下只给结论

同门师兄弟包括ZoubinGhahramani,TommiJaakkola,EricXing,DavidBlei,徒子徒孙遍布美国名校，他们这一大学派的主要研究和贡献集中在统计机器学习（StatisticalMachineLearning

最近一直在外面，李航那本书没带在身上，所以那本书的算法实现估计要拖后了。

二项分布_贝塔分布（multivariateBetadistribution）_多项分布_狄利克雷分布（Dirichletdistribution）_贝叶斯理论公式浅述参考书籍《统计学习方法》（李航）各分布之间的关系

看到过好几次“生成模型”这个词了，一直不太懂，这次买了李航老师的《统计学习方法》看一下。

思维导图：统计学习方法附：文本结构统计学习方法基本概念统计学习的定义又叫统计机器学习基于数据构建概率统计模型，并运用模型进行预测和分析的一门学科主要特点建立在计算机和网络之上以数据为研究对象，是数据驱动的学科目的是对数据进行预测和分析以方法为中心

本次学习笔记主要记录学习机器学习时的各种记录，包括吴恩达老师视频学习、李宏毅老师视频学习、周志华老师的《机器学习》（西瓜书）以及李航老师的《统计学习方法》。

今天知乎上被私信说我对Adaboost的通俗解释很好理解，那我就把当初的答案贴下来，做个记录吧，该理解没有任何数学公式要看数学公式的推荐每个做统计算法和机器学习的人都会看的：李航统计学习方法的Adaboost

机器学习中的各种范数与正则化对于统计机器学习算法一般为缓解过拟合现象的发生需要在进行正则化操作,通过正则化以偏差的增加换取方差的减小，因此优秀的正则化操作即是在保证方差较小的情况下，偏差尽可能的小。

本文是在学习完李航老师的《统计学习方法》后，在网上又学习了几篇关于LR的博客，算是对LR各个基础方面的一个回顾和总结。一简述逻辑斯蒂回归是一种对数线性模型。

1.5正则化数学原理及扩展为什么正则化能够解决过拟合的问题？为什么L1正则更具有稀疏性？答：【机器学习面试题】为什么正则化可以防止过拟合？为什么L1正则化具有稀疏性？_哔哩哔哩_bilibili1.6泛化能力常用泛化误差上界来表示泛化能力，公式是重点，可以等后面具体例子中结合一下理解1.7生成模型与判别模型直观理解：判别式模型关心边界，生成式模型关心数据本身特点简单实例：生成式模型估计的是联合概率

作者|李航编译|李梅、黄楠编辑|陈彩娴从俄国数学家AndreyMarkov（安德烈·马尔可夫）提出著名的「马尔科夫链」以来，语言建模的研究已经有了100多年的历史。

李航《统计学习方法》课后习题答案（第2版）【李航课后习题解答+书中疑点推导+算法代码实现+可私聊耐心解答(48小时内回复)，包会！！】

回归算法是统计机器学习的利器。

P39习题应用8college=read.csv("./data/College.csv",sep=',',header=TRUE);rownames(college)=college[,1]#将第一列令为行名#fix(college)college=college[,-1]#删除第一列#fix(college)college$Private=huaas.factor(college$Privat

自2013年起间歇性读过以下专业读本，大部分内容已读过一遍，少量读过2-3遍，略以记录.1.统计学习方法（第一版、第二版李航著）2.机器学习（周志华）3.PRML（Pattern-Recognition-and-Machine-Learning

#关于推荐的书籍虽然西瓜书的名气最大，但是这本书我实际看下来不适合做教材，另一本李航的书更好些，至少每个算法都会给你例子，但是里面的数学定义太复杂，得配合视频看下去，b站上的视频唯一有价值的就是吴恩达的视频

前言本文参考了《机器学习》周志华著中的3.2节中的线性回归内容和《统计学习方法》李航著的6.1节中的逻辑回归内容，并结合逻辑回归两个实验进行总结。线性模型什么是线性模型呢？

目录1感知机模型2感知机学习策略2.1数据集的线性可分性2.2感知机学习策略3感知机学习算法3.1感知机学习算法的原始形式3.2感知机算法的对偶形式4感知机算法python代码感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值．感知机对应于输入空间（特征空间〉中将实例划分为正负两类的分离超平面，属于判别模型．感知机学习旨在求出将训练数

本次学习笔记主要记录学习机器学习时的各种记录，包括吴恩达老师视频学习、李宏毅老师视频学习、周志华老师的《机器学习》（西瓜书）以及李航老师的《统计学习方法》。

有幸用最近两个月的业余时间把”统计机器学习”一书粗略的学习了一遍，同时结合“模式识别”、“数据挖掘概念与技术”的知识点，对机器学习的一些知识结构进行梳理与总结：机器学习包括两个主要问题1、学习什么，2、

机器学习之感知机模型写在前面感知机模型的初步理解自我理解感知机模型建立对偶形式写在前面这部分主要是基于李航老师的《统计学习方法》以及参考部分博客完成，写出来让自己更好理解。

一、代码根据李航统计学习方法第一版的公式进行编写，与sklearn的svm进行对比importnumpyasnpfromsklearnimportdatasetsfromsklearn.model_selectionimporttrain_test

《机器学习》，即西瓜书是机器学习的入门书籍，也是比较完整的书，此笔记是通读西瓜书后，对于重要知识点进行总结和完善，对于一些公式进行了完整的推导后的学习笔记，同时也参考了李航老师的《统计学习方法》，还有很多其他老师的博客共同所得

最大熵模型的详细推导（参考李航老师机器学习）1.最大熵的原理2.最大熵模型的定义3.最大熵模型的学习3.1转换为对偶问题4.最大熵模型的极大似然估计5.参考文献1.最大熵的原理最大熵的原理是概率模型学习的一个准则

2.3.3最大熵模型的表示2.3.4最大熵模型的学习3最大熵模型的应用场景4模型优缺点4.1优点4.2缺点参考1前言继续梳理李航老师《统计学习方法》的章节内容，今天我们一起来看一看啥叫最大熵模型？

日前，深圳市软件行业协会（以下简称：软协）名誉会长邓爱国、副秘书长肖庆新、李航等到访网心科技，并现场授予“理事单位”牌匾。迅雷集团高级副总裁马婷代表网心科技热情接待了软协一行。

决策树决策树（decisiontree）是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分

决策树模型决策树是一种基本的分类和回归方法，本文主要讨论用户分类的决策树。决策树模型呈现树桩结构，在分类问题中，它表示基于特征对实例进行分类的过程。它可以认为是if-then的规则的集合也可以认为是定义在特征空间与类空间上的条件概率分布。决策树学习通常包括3个步骤：特征选择，决策树的生成和决策树的修剪。优点：模型具有可读性，解释性较强，分类速度快，准确性高，可以处理连续和种类字段，不需要任何领域知

【机器学习】白板公式推导-1-介绍书籍列表频率派-统计机器学习统计学习方法-李航ESL贝叶斯派-概率图模型模式识别与机器学习（PRML）-ChristopherM.BishopMLAPP其他机器学习（西瓜书

参考deeplearningbook.org一书2.12Example:PrincipalComponentsAnalysis参考李航统计学习方法第16章主成分分析本文的目录如下：目录用到的知识点PCA

也是好久没更新了，前面项目基础开发的工作已经基本完结，但又给了我两个任务，一个是做一个QA系统，一个是做一个推荐系统，想想我是基本不会啊，于是只是学呗，网上找了一些资料，人家说先看李航老师的书，于是做个笔记

1.统计学习统计学习是关于计算机数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科，统计学习又称为统计机器学习。它的主要特点包括：统计学习是以计算机和网络为平台，是建立在计算机和网络之上的。