支持向量机（supportvectormachines，SVM）是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划（convexquadraticprogramming）的问题，也等价于正则化的合页损失函数的最小化问题。支持向量机

利用Python连接MySQL将表单转化为DataFrame表中数据来自于《统计学习方法》第二版P71页1.创建loan_application表单CREATETABLEloan_application

分享几本不错的书：这本《机器学习》作者周志华，适合入门看，里面用一个形象的挑西瓜的例子讲了机器学习的各种概念，不过里面的公式不用深究，就学概念就行要想深入学算法，可以看这一本《统计学方法（第二版）》作者李航

男生叫陈宇，跟陈念的前桌—李航是好朋友，高一下学期的时候，陈宇在五楼重点班，许念在三楼普通班。

Probit模型和Logit模型都是常用的统计学习方法，主要用于二分类问题中。相同点：它们都是广义线性模型，通过建立数据与概率之间的联系来预测离散响应变量的可能性。

统计学习，也称统计机器学习，什么是学习，如果一个系统能够通过执行某个过程改进它的性能，就说这个系统可以学习。按此定义，统计机器学习，就是计算机系统通过运行数据及统计方法提高系统性能的机器学习。它以计算机和网络为平台，以数据为研究对象，目的是对数据进行预测与分析。统计学习以方法为中心，方法构建模型，再应用模型去预测与分析。1.统计学习建立在计算机和网络之上自不必说。2.之所以以数据为研究对象，是因为

1.Logistic模型概述Logistic模型，又称为逻辑回归模型，是一种广泛应用于分类问题的统计学习方法。与线性回归模型不同的是，Logistic模型的输出是概

其实很多时候，我们机器学习的算法从本质上来看，就是一种统计学习方法。所以，贝叶斯概率学派的很多思想，是理解机器学习的关键所在。贝叶斯回归显然是贝叶斯理论在线性回归的一个应用。

关于具体的理论推导可以查阅统计学习方法（李航著）。序列最小优化（SMO）算法是将大的优化问题分解为多个小的优化问题来求解的。其原理是每次循环中选择两个alpha进行优化处理。

一、logistic回归模型逻辑斯谛回归模型其实是一种分类模型，这里实现的是参考李航的《统计机器学习》以及周志华的《机器学习》两本教材来整理实现的。

这里我们举个例子来说明什么是野指针，还是上学期，学妹找我借书，李航写的，统计学习方法。我就告诉她，书给我放到实验室我位置上的柜子上了。就相当于我指向一个数据给他，让她去那里找，然

感知机模型感知机是一个二分类的线性分类模型，之所以说是线性，是因为它的模型是线性形式的。概念我们分别从输入空间、输出空间、模型结构、参数空间和假设空间来看一下感知机。输入输入空间：X⊆Rn\mathcal{X}\subseteq\mathbf{R}^nX⊆Rn；输入：x=(x(1),x(2),⋯ ,x(n))T∈Xx=\left(x^{(1)},x^{(2)},\cdots,x^{(n)}\rig

内容源于公众号《简博士数据分析吧》和b站《【合集】十分钟机器学习系列视频《统计学习方法》》代码来自于https://blog.csdn.net/weixin_41566471/article/details

为什么叫支持向量机在第二章中我们学过感知机，它是最小化所有误分类点到超平面的距离之和，M为误分类点的集合，得到的分离超平面是不唯一的。min⁡ω,b[−∑xi∈Myi(ω⋅xi+b)]\min_{\omega,b}[-\sum_{x_i\inM}y_i(\omega\cdotx_i+b)]ω,bmin[−xi∈M∑yi(ω⋅xi+b)]在支持向量机中，{分类确信度∣ω⋅xi+b∣∣∣ω∣∣分类正确

本文包括：1.走近朴素贝叶斯-上帝到底掷不掷骰子2.重要概念3.贝叶斯公式的一般形式5.朴素贝叶斯的基本方法6.贝叶斯估计其它有关数据分析，机器学习的文章及社群朴素贝叶斯-贝叶斯估计Python复现：朴素贝叶斯（Bayes）模型python复现-贝叶斯估计；下溢出问题-知乎(zhihu.com)1.走近朴素贝叶斯-上帝到底掷不掷骰子：上帝到底掷不掷骰子，这个问题精准地概括了相对论和量子力学之间的矛

EM算法的例子《统计学习方法》例9.1（三硬币模型）：假设有3枚硬币，分别记作A，B，C。这些硬币正

来源：机器之心摘要：原华为诺亚方舟实验室主任、现已加入字节跳动AILab的李航教授近日发表博客，对自然语言对话领域的现状和最新进展进行总结，并展望了未来的走向。

1.逻辑回归概念逻辑回归是一种用于分类问题的统计学习方法。尽管名字中带有"回归"二字，但逻辑回归实际上是一种分类算法，主要用于将数据分为两个或多个离散的类别。

引言这是统计学习方法第十一章条件随机场的阅读笔记，包含所有公式的详细推导。

文章目录统计学习方法感知机学习算法感知机输入算法的原始形式算法的收敛性统计学习方法感知机学习算法读李航《统计学习方法》的一些笔记，感知机学习算法的推导过程有一些细节想记录一下。

参考《统计学习方法》李航等SVM定义SVM(SupportVectorMachine，支持向量机)，是一种用来进行二分类的机器有监督的学习方法，是定义在特征空间上的间隔最大的线性分类器。

统计学习的特点统计学习是关于计算机基于数据构建概率模型并运用模型对数据进行预测与分析的一门学科统计学习的主要特点是：统计学习以计算机及网络为平台，是建立在计算机及网络上的统计学习以数据为研究对象，是数据驱动的学科统计学习的目的是对数据进行预测与分析统计学习以方法为中心，统计学习方法构建模型并应用模型进行预测与分析统计学习是概率论

朴素贝叶斯（NB）[学生党学习笔记，如有错误谢谢各位大佬指出]所用书籍：《统计学习方法》-李航一、概述  朴素贝叶斯模型首先基于特征条件独立假设，学习输入的联合概率分布；然后基于此模型，对给定的输入x，

机器学习是一种统计学习方法，机器人和计算机等机器需要使用大量数

详细的推导可参考李航统计学习方法第10章。本文目录如下：目录隐马尔可夫模型简介HMM基本假设HMM三要素（也即参数）HMM基本问题概率计算问题学习问题预测问题隐马尔可夫模型简介HMM可用于标注问题。

统计学习方法。吴达的机器学习。

统计学习方法三要素——模型、策略、算法，对理解统计学习方法起到提纲挈领的作用。

李航的《统计学习方法》对SVM的原理进行了详细的推导，CSDN的博客专家July也对SVM的数学原理进行了完整的总结。本文在看了这些大佬的文章后

文章目录前言一、文章重点及流程梳理二、概率论基础知识三、参数估计1.极大似然估计（MaximumLikelihoodEstimation）2.贝叶斯估计前言写作参考概率论书籍、西瓜书、李航《统计学习方法

九（6）班蔡盈、李航学习不太积极，学习成绩又不稳定，孙耀贤、李明飞、胡梅瑾、蔡琪、姚佳琪还是要继续关注！要拿出“黄沙百战穿金甲，不破楼兰终不还”的决心来！

基础课程不限于此，资源较多，可自行选择机器学习部分1.吴恩达机器学习（B站资源）+机器学习图解笔记（up主：深度碎片）[20d]@2.机器学习实战（深度之眼课程）[10d]3.西瓜书（深度之眼课程）[10d]&4.统计学习方法

逻辑回归是一种用于二元分类的统计学习方法，它可以将输入的特征映射到一个概率值，用于判断输入数据属于哪一类。

贝叶斯决策贝叶斯公式如下：其中：p(Y)为先验概率，表示每种类别分布的概率；P(X|Y):类条件概率，表示在某一类别情况下，某个事件发生的概率；而P(Y|X)为后验概率，表示某事发生了，并且它属于某一类别的概率。p(X)通常可以利用全概率公式求得(n为y的类别数)：这两个公式大家应该都比较熟悉，这里举个例子：已知：某个商店里的顾客中男性与女性的比例为2：1，男性购买商品的概率为1/2，而女性购买商

第2章感知机习题2.1  Minsky与Papert指出：感知机因为是线性模型，所以不能表示复杂的函数，如异或(XOR)。验证感知机为什么不能表示异或。解答：解答思路：列出异或函数(XOR)的输入和输出；使用图例法证明异或问题是线性不可分的；使用反证法证明感知机无法表示异或。解题步骤：第1步：异或函数(XOR)的输入和输出  对于异或函数(XOR)，全部的输入与对应的输出如下：x1x_1x1x2x

第1章统计学习方法概论习题1.1  说明伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素。伯努利模型是定义在取值为0与1的随机变量上的概率分布。

1.3统计学习方法三要素统计学习方法都是由模型、策略和算法构成，即统计学习方法由三要素构成，可以简单地表示为：以下主要讨论监督学习中的统计学习三要素1.3.1模型在监督学习过程中，模型就是所要学习的条件概率分布或决策函数

李航在公司年会上，竟然遇见了前妻，如今的她，就像换了一个人一样，衣着优雅，举止端庄。一袭晚礼服摇曳生姿，化着恰到好处的妆容，端着酒杯跟

博客主页：七归的博客收录专栏：《统计学习方法》第二版——个人笔记南来的北往的，走过路过千万别错过，错过本篇，“精彩”可能与您失之交臂laTripleattack(三连击):Comment,LikeandCollect

博客主页：啊四战斗霸的博客收录专栏：《统计学习方法》第二版——个人笔记南来的北往的，走过路过千万别错过，错过本篇，“精彩”可能与您失之交臂laTripleattack(三连击):Comment,LikeandCollect

感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别｛-1,1｝，是一种判别模型。感知机学习的目的在于求出将训练数据进行划分的超平面。感知机模型输入空间,输出空间。为输入向量，其中，和为感知机模型参数，表示内积，sign是符号函数。感知机的几何角度理解是：是特征空间的一个超平面，是该平面的法向量，是截距。这个超平面将特征空间划分为正负两个部分，如下图。感知机学习策略感知机学习的

具体可参考：1.感知机原理（Perceptron）-hyc339408769-博客园作者应该是参考李航的统计学习方法加上自己的见解，我觉得写得很好了～需要注意的几个点：1.样本输入感知机模型后，与权值、

我的反思我是研究生阶段接触机器学习和深度学习（了解一点），然后以李航老师写的《统计学方法》和《集体智慧编程》入门的，在kaggle上有参

统计学习的特点统计学习是关于计算机基于数据构建概论统计模型并运用模型对数据进行预测与分析的一门学科主要特点：统计学习以计算机及网络为平台，是建立在计算机及网络上的统计学习以数据为研究对象，是数据驱动的学科统计学习的目的是对数据进行预测与分析统计学习以方法为中心，统计学习方法构建模型并应用模型进行预测与分析统计学习是概论论

李航统计学习方法第一章内容梳理得到一个有限的训练数据集合，包括样本特征的抽取；确定包含所有可能的模型的假设空间（即学习模型的集合），对应判别模型和生成模型的训练中，就是建立目标模型的数学公式描述确定模型选择的准则

1.监督学习基本概念1.1输入空间、特征空间与输出空间在监督学习中，将输入与输出所有可能取值的集合分别称为输入空间（inputspace）与输出空间（outputspace）。输入与输出空间可以是有限元素的集合，也可以是整个欧式空间。输入空间与输出空间可以是同一个空间，也可以是不同的空间；但通常输出空间远远小于输入空间。每个具体的输入是一个实例（instance），通常由特征向量（featurev

【知乎同步：https://zhuanlan.zhihu.com/p/305028771】【统计学习方法】学习笔记-第1章-统计学习及监督学习概论1.1统计学习统计学习(statisticallearning

李航是五官科门诊一名普通医生，工作时常需要和形形色色的人打交道。

距离度量可以参照之前李航-第3章k近临法的度量实例点的相似程度。距离度量In[1]:...:defminkowskiDist(v1,v2,p):...:"""假设v1和v2是两个等长的数值型数组...

k近邻法“k近法”在算法层面理解容易，可以从使用“k近邻法”处理分类问题入手，解释机器学习中的各种概念和一般流程。k近邻法的基本思想“k近邻法”几乎是所有机器学习算法中最简单的算法，它用于分类的核心思想就是“物以类聚，人以群分”，即未标记样本的类别由距离其最近的个邻居投票来决定。说明：图片来自周志华《机器学习》第10章第1节。（图片来自周志华《机器学习》第10章第1节）有监督学习、分类学习、回归有

笔者主要参考学习的是李航老师《统计学习方法（第二版）》[1]和周志华老师的西瓜书《机器学习》[2]。如有错误疏漏，烦请指正。如要转载，请联系笔者，[email protected]。