今天知乎上被私信说我对Adaboost的通俗解释很好理解，那我就把当初的答案贴下来，做个记录吧，该理解没有任何数学公式要看数学公式的推荐每个做统计算法和机器学习的人都会看的：李航统计学习方法的Adaboost

本文是在学习完李航老师的《统计学习方法》后，在网上又学习了几篇关于LR的博客，算是对LR各个基础方面的一个回顾和总结。一简述逻辑斯蒂回归是一种对数线性模型。

1.5正则化数学原理及扩展为什么正则化能够解决过拟合的问题？为什么L1正则更具有稀疏性？答：【机器学习面试题】为什么正则化可以防止过拟合？为什么L1正则化具有稀疏性？_哔哩哔哩_bilibili1.6泛化能力常用泛化误差上界来表示泛化能力，公式是重点，可以等后面具体例子中结合一下理解1.7生成模型与判别模型直观理解：判别式模型关心边界，生成式模型关心数据本身特点简单实例：生成式模型估计的是联合概率

作者|李航编译|李梅、黄楠编辑|陈彩娴从俄国数学家AndreyMarkov（安德烈·马尔可夫）提出著名的「马尔科夫链」以来，语言建模的研究已经有了100多年的历史。

李航《统计学习方法》课后习题答案（第2版）【李航课后习题解答+书中疑点推导+算法代码实现+可私聊耐心解答(48小时内回复)，包会！！】

自2013年起间歇性读过以下专业读本，大部分内容已读过一遍，少量读过2-3遍，略以记录.1.统计学习方法（第一版、第二版李航著）2.机器学习（周志华）3.PRML（Pattern-Recognition-and-Machine-Learning

#关于推荐的书籍虽然西瓜书的名气最大，但是这本书我实际看下来不适合做教材，另一本李航的书更好些，至少每个算法都会给你例子，但是里面的数学定义太复杂，得配合视频看下去，b站上的视频唯一有价值的就是吴恩达的视频

前言本文参考了《机器学习》周志华著中的3.2节中的线性回归内容和《统计学习方法》李航著的6.1节中的逻辑回归内容，并结合逻辑回归两个实验进行总结。线性模型什么是线性模型呢？

目录1感知机模型2感知机学习策略2.1数据集的线性可分性2.2感知机学习策略3感知机学习算法3.1感知机学习算法的原始形式3.2感知机算法的对偶形式4感知机算法python代码感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值．感知机对应于输入空间（特征空间〉中将实例划分为正负两类的分离超平面，属于判别模型．感知机学习旨在求出将训练数

本次学习笔记主要记录学习机器学习时的各种记录，包括吴恩达老师视频学习、李宏毅老师视频学习、周志华老师的《机器学习》（西瓜书）以及李航老师的《统计学习方法》。

机器学习之感知机模型写在前面感知机模型的初步理解自我理解感知机模型建立对偶形式写在前面这部分主要是基于李航老师的《统计学习方法》以及参考部分博客完成，写出来让自己更好理解。

一、代码根据李航统计学习方法第一版的公式进行编写，与sklearn的svm进行对比importnumpyasnpfromsklearnimportdatasetsfromsklearn.model_selectionimporttrain_test

《机器学习》，即西瓜书是机器学习的入门书籍，也是比较完整的书，此笔记是通读西瓜书后，对于重要知识点进行总结和完善，对于一些公式进行了完整的推导后的学习笔记，同时也参考了李航老师的《统计学习方法》，还有很多其他老师的博客共同所得

最大熵模型的详细推导（参考李航老师机器学习）1.最大熵的原理2.最大熵模型的定义3.最大熵模型的学习3.1转换为对偶问题4.最大熵模型的极大似然估计5.参考文献1.最大熵的原理最大熵的原理是概率模型学习的一个准则

2.3.3最大熵模型的表示2.3.4最大熵模型的学习3最大熵模型的应用场景4模型优缺点4.1优点4.2缺点参考1前言继续梳理李航老师《统计学习方法》的章节内容，今天我们一起来看一看啥叫最大熵模型？

日前，深圳市软件行业协会（以下简称：软协）名誉会长邓爱国、副秘书长肖庆新、李航等到访网心科技，并现场授予“理事单位”牌匾。迅雷集团高级副总裁马婷代表网心科技热情接待了软协一行。

决策树决策树（decisiontree）是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分

决策树模型决策树是一种基本的分类和回归方法，本文主要讨论用户分类的决策树。决策树模型呈现树桩结构，在分类问题中，它表示基于特征对实例进行分类的过程。它可以认为是if-then的规则的集合也可以认为是定义在特征空间与类空间上的条件概率分布。决策树学习通常包括3个步骤：特征选择，决策树的生成和决策树的修剪。优点：模型具有可读性，解释性较强，分类速度快，准确性高，可以处理连续和种类字段，不需要任何领域知

【机器学习】白板公式推导-1-介绍书籍列表频率派-统计机器学习统计学习方法-李航ESL贝叶斯派-概率图模型模式识别与机器学习（PRML）-ChristopherM.BishopMLAPP其他机器学习（西瓜书

参考deeplearningbook.org一书2.12Example:PrincipalComponentsAnalysis参考李航统计学习方法第16章主成分分析本文的目录如下：目录用到的知识点PCA

也是好久没更新了，前面项目基础开发的工作已经基本完结，但又给了我两个任务，一个是做一个QA系统，一个是做一个推荐系统，想想我是基本不会啊，于是只是学呗，网上找了一些资料，人家说先看李航老师的书，于是做个笔记

李航《统计学习方法》课后习题答案（第2版）【李航课后习题解答+书中疑点推导+算法代码实现+可私聊耐心解答(48小时内回复)，包会！！】

参考书籍机器学习，周志华，清华大学出版社，2016统计学习方法，李航，清华大学出版社，2012DeepLearning,I.Goodfellow,Y.BengioandA.Courville,2016课程推荐

www.bilibili.com/video/BV1BW411P7gV悉尼科大徐亦达https://www.bilibili.com/video/BV1MW41167Rfshuhuai大神如果是喜欢看书的，请参考李航老师

参考资料（大量参考了第一个链接，里面讲的非常详细）：https://zhuanlan.zhihu.com/p/77151308统计学习方法（李航）https://zhuanlan.zhihu.com/p

绪论统计学习方法主要是讲李航博士统计学习方法那本书，一开始主要讲解了一些基本概念。作业打卡L1和L2范式l1范数的数学定义是所有数绝对值之和。在坐标平面上它是个正方形。l2范数的数

**注：本博客为李航《统计学习方法》与周志华《机器学习》读书笔记，虽然有一些自己的理解，但是其中仍然有大量文字摘自李老师和周老师的书籍内容。

点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达前言决策树是机器学习模型较常用的一种方法，李航老师《统计学习方法》详细的描述了决策树的生成和剪枝，本文根据书中的内容，对决策树进行了总结

python降维中特征维度的问题最近在学PCA降维，参考的是李航老师的统计学习方法第二版，自己上手编程时发现按照李航老师P310页公式16.39来定义样本数据时出现了一些问题，特此记录以供日后翻阅sklearn

第1章绪论学习心得由于我之前已经学过了李航老师的《统计学习方法（第2版）》，所以这里面的概念没有啥不懂得，不会像教程说的有些难，毕竟学过一部分了。

2022.08.27李航老师《统计学习方法》：一.统计学习及监督学习概论#本文目的就是为学者简化学习内容，提取我认为的重点把书读薄;#本文重点：1.5正则化理解一.统计学习及监督学习概论1.4+1.5L1

1、训练误差与测试误差不同的学习方法会给出不同的模型。当损失函数给定时，基于损失函数的模型的训练误差和模型的测试误差就成为学习方法评估的标准。训练误差的大小，对判断给定的问题是不是一个容易学习的问题有意义。也就是说，一个问题越容易学习，那么它的训练误差就越小。但这本质上不重要。测试误差，反映了学习方法对未知的测试数据集的预测能力。测试误差小的方法具有更好的预测能力，是有效的方法。通常将学习方法对未

PS：所写内容为读书笔记，如需了解更详细内容请购买正版书籍1.4模型评估与选择1.4.1训练误差和测试误差训练误差：模型对训练集预测结果的误差测试误差：模型对测试集测试结果的误差1.4.2过拟合与模型选择过拟合（over-fitting）：学习时选择的模型所包含的参数过多，以至于出现这一模型对已知数据预测很好，但对未知数据预测很差的现象。当模型的复杂度增大时，训练误差会逐渐减小并趋近于0，而测试误

本篇文章为个人学习EM算法框架时的笔记，其中主要参考了李航老师的《统计学习方法》这本书以及PRML，中间有一些内容是从其他一些网络资料上摘抄下来的，具体来源比较杂，这里就不一一列出了，如有侵权请联系删除

决策树理解（一）参考书籍：《机器学习》周志华，第1版《统计学习方法》李航，第2版用来记录自己对书中知识的理解，加强自己的理解和记忆，同时提出自己迷惑不解的地方，提高自己编辑的表达能力。

李航《统计学习方法》：d∗=maxα,β;αi≥0θD(

第1章统计学习方法概论监督学习统计学习三要素模型策略（经验风险和结构经验风险）判别模型与生成模型补充（含课后作业）MLE、MAP和贝叶斯估计证明经验风险最小化等价于极大似然估计（在特定条件下）证明结构风险最小化与最大后验概率等价（在特定条件下）贝叶斯估计挑重点记录一下。监督学习监督学习有一个重要的假设：设输入的随机变量XXX和YYY遵循联合概率分布P(X,Y)P\left({X,Y}\right)

虽然之前粗略的学过一点皮毛，但是当初笔记做的实在不好，这次趁着看吴恩达老师的机器学习教学视频以及李航老师的《统计学习方法》，重新整理一下自己的笔记，同时也是整理一下自己的思路。

并且以此为依据可以从其他未知图像中检测出相似或相同的该对象A.在特征提取上,传统的图像处理都是自行设计提取固定特征的算子,在深度学习上主要是利用CNN网络来广泛的提取图像的特征.笔记以吴恩达课程为基础,全面介绍机器学习相关术语,再以李航

李航《统计学习方法》课后习题答案（第2版）【李航课后习题解答+书中疑点推导+算法代码实现+可私聊耐心解答(48小时内回复)，包会！！】

最近学习李航《统计学习方法》，在github上找到了这本书对应的源码，决定自己跟着敲一敲代码，也感谢代码的贡献者，链接如下：https://github.com/fengdu78/lihang-codegithub.com

知识源于——《统计学习方法（第二版）》李航感知机（perception)一种二分类的线性分类模型。输入为实例的特征向量，输出为实例的类别（二分类类别为-1，+1二值）。

本章节内容参考了李航博士的《统计学习方法》本节不同之处在于分析讨论了多维度空间的高斯混合模型1高斯混合模型推导1.1高斯混合模型定义：高斯混合模型是指具有如下形式的概率分布模型：p(y∣θ)=∑k=1Kαkϕ

《统计学习方法》是计算机及其应用领域的一门重要的学科。《统计学习方法》全面系统地介绍了统计学习的主要方法，特别是监督学习方法，包括感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与最大熵模型、支持向量机、提升方法、EM算法、隐马尔可夫模型和条件随机场等。除第1章概论和最后一章总结外，每章介绍一种方法。叙述从具体问题或实例入手，由浅入深，阐明思路，给出必要的数学推导，便于读者掌握统计学习方法的实

以下只给出了感知机算法的Python代码实现，想从头开始了解机器学习以及感知机模型的推荐李航老师的统计学习方法蓝宝书感知机算法原始形式#感知机(原始形式)importnumpyasnp#创建测试集，包含三个实例点和两个类别

1正则化机器学学习中的正则化相关的内容可以参见李航的书：统计学习方法。参阅者可以先了解有关的内容。正则化是用来降低overfitting（过拟合）的，减少过拟合的的其他方法有：增加训练集数

题目来源：统计学习方法（第二版李航）第八章第一节AdaBoost例子实现P158题目：给定如图所示训练数据集。假设弱分类器由xv产生，其阈值v使该分类器在训练数据上分类误差率最低。

机器学习资料入门课程-斯坦福CS229课程《统计学习方法》李航DeepLearning入门资料深度学习工程师微专业-一线人工智能大师吴恩达亲研-网易云课堂斯坦

李航《统计学习方法》课后习题答案（第2版）【李航课后习题解答+书中疑点推导+算法代码实现+可私聊耐心解答(48小时内回复)，包会！！】

前言：笔者在学习SVM的过程中找了很多书籍、资料以及学习笔记，但是感觉看起来都云里雾里莫名其妙，始终不得要领，最近在看《统计学习方法》---李航---清华大学出版社---ISBN978-7-302-27595