参考：文曲经典：统计学习方法-李航参数分析θ=[P(z1∣x),P(z2∣x),⋯ ,P(zm∣x),P(y1∣z1,x),P(y2∣z1,x),⋯ ,P(yn∣z1,x),P(y1∣z2,x)⋯ ,P

1.经验风险,期望风险,结构风险如何选择最优参数和评价一组参数是最优的，这就是机器学习中的策略，也就是性能度量P,在李航的《统计学习方法》和周志华的《机器学习》中开篇都曾讲过，这里不再详细介绍。

概念逻辑回归（LogisticRegression）实际上是一种用于解决分类问题的统计学习方法，尽管其名称中带有"回归"一词，但它主要用于处理分类任务。

本文包括：1.最大熵模型简介2.最大熵的原理3.最大熵模型的定义4.最大熵模型的学习1.最大熵模型简介：最大熵原理认为，学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。通常用约束条件来确定概率模型的集合，所以，最大熵原理也可以表述为在满足约束条件的模型集合中选取熵最大的模型。离散随机变量X的概率分布是P(X)，则其熵是：式中，|X|是X的取值个数，当且仅当X的分布是均匀分

参考：《统计学习方法》9.3EM算法在高斯混合模型学习中的应用多维高斯混合模型多维高斯混合模型具有如下形式的概率分布模型：其中d为数据的维度，为均值，为协方差矩阵。

背景：在看李航的《统计学习方法时》提到了NP完全问题，于是摆之。

本篇博客主要介绍李航《统计学习方法(第2版)》中讲解EM算法涉及到的三硬币模型案例，原文中该模型的推导过程被省略了。本篇博客主要是将该模型的具体推导过程。

本文包括：1.走近感知机-感知机与童话2.重要概念3.感知机模型的数学形式4.构建感知机的损失函数5.如何取得损失函数最小值-随机梯度下降法6.感知机模型对偶形式Python复现，使用了随机梯度下降法，梯度下降法，adagrad和对偶形式四种算法：舟晓南：感知机模型python复现-随机梯度下降法；梯度下降法；adagrad；对偶形式1.走近感知机-感知机与童话回想一下，在现实生活中，我们是怎么对

概念逻辑回归是一种用于二分分类问题的统计学习方法，尽管名字中带有"回归"一词，但实际上它用于分类任务。逻辑回归的目标是根据输入特征来预测数据点属于某个类别的概率，然后将概率映射到一个离散的类别标签。

Sklearn】基于逻辑回归算法的数据分类预测（Excel可直接替换数据）1.模型原理2.模型参数3.文件结构4.Excel数据5.下载地址6.完整代码7.运行结果1.模型原理逻辑回归是一种用于二分类问题的统计学习方法

统计学习的研究：统计学习方法统计学习理论（统计学习方法的有效性和效率和基本理论）统计学习应用统计学习的方法分类：SupervisedlearningUnsupervisedlearningSem

贝叶斯估计方法：计算男女时只有两个值，所以K=2贝叶斯估计就是拉普拉斯平滑估计方法：为什么叫做贝叶斯估计呢？例题：重新回顾以下朴素贝叶斯：对他求导，求出最大值得到了色i他的估计值：那么我们可以知道对应Y=-1这类女儿国还是特例给自己留点男人

一，模型评估与模型选择1.训练误差与测试误差假如我们有100个数据。80条记录给训练集，10条记录给测试集，10条记录给验证集先在训练集中训练模型，再在验证集上测试看哪种模型更拟合最后用测试集算出成绩表示决策函数模型拟合的好坏（对已知数据的预测效果）我们可以通过训练集测出训练误差来衡量对未知数据预测效果好坏可以利用测试集来衡量预测值和真实值不相等的个数占测试集样本总个数的比例经过模型的预测值和真实

目录一，朴素贝叶斯的学习与分类1.基本方法2.后验概率最大化的含义二，朴素贝叶斯法的参数估计1.极大似然估计2.学习与分类算法3.贝叶斯估计一，朴素贝叶斯的学习与分类1.基本方法2.后验概率最大化的含义二，朴素贝叶斯法的参数估计1.极大似然估计2.学习与分类算法3.贝叶斯估计

目录一，生成模型与判别模型二，分类问题三，标注问题四，回归问题一，生成模型与判别模型P（X,Y）是联合概率分布只要是出现联合概率分布，就一定是生成模型判别方法就是直接去求概率二，分类问题评估分类器性能的指标一般是分类准确率其定义是：对于给定的测试数据集，分类器正确分类的样本数和总样本数之比，也就是损失函数是0-1损失时候，测试数据集上的准确率。画图更好记：background：根据特征值预测是否会

目录一，决策树模型与学习1.决策数模型2.决策树与if-then规则3.决策树与条件概率分布4.决策树学习二，特征选择1.特征选择问题2.信息增益3.信息增益比三，决策树的生成1.ID3算法2.C4.5的生成算法一，决策树模型与学习1.决策数模型2.决策树与if-then规则3.决策树与条件概率分布4.决策树学习二，特征选择1.特征选择问题2.信息增益3.信息增益比三，决策树的生成1.ID3算法2

目录一，决策数的剪枝二，CART算法1.CART生成（1）回归树的生成（2）分类树的生成2.CART剪枝（1）剪枝，形成一个子树序列（2）在剪枝得到的子树序列T0,T1-----,Tn中通过交叉验证选取最优子树Ta一，决策数的剪枝二，CART算法1.CART生成（1）回归树的生成（2）分类树的生成2.CART剪枝（1）剪枝，形成一个子树序列（2）在剪枝得到的子树序列T0,T1-----,Tn中通过

第一章统计学习方法概论（统计学习方法|李航）第一章统计学习方法概论-一二三节统计学习及统计学习种类，统计学习三要素（统计学习方法|李航）第一章统计学习方法概论——四五六节：模型评估与模型选择，正则化与交叉验证

目录1.感知机学习算法的原始形式2.感知机学习算法的收敛性3.感知机学习算法的对偶形式1.感知机学习算法的原始形式2.感知机学习算法的收敛性3.感知机学习算法的对偶形式

2019.06.26开始统计学习方法，在此记录下学习历程，梳理思路。

一、线性回归线性回归模型是一种常用的统计学习方法，用于分析自变量与因变量之间的关系。它通过建立一个关于自变量和因变量的线性方程，来对未知数据进行预测。

申明：本文内容来源于李航《统计学习方法》第二版隐马尔可夫链模型是关于时序的概率模型，描述有一个隐藏的马尔科夫链随机生成不可观测的状态随机序列，再有各个状态随机生成一个观测而产生观测随机序列的过程。

再加上一个偏置项x0,则每个样本包含n+1维特征：其中x∈Rn+1,x0=1,y∈{0,1}统计学习方法一书中：分类是监督学习的一个核心问题，在监督学习中，当输出变量Y取有限个离散值时，预测问题便

大三的时候曾花两个星期学习了几个经典的机器学习算法，学习方法主要是白天参考《统计学习方法》推导公式，晚上利用公式编写实现。

1.统计学习（1）统计学习概念统计学习(statisticallearning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。统计学习也称为统计机器学习(statisticalmachinelearning)。（2）统计学习的特点统计学习以计算机及网络为平台，是建立在计算机及网络之上的。统计学习以数据为研究对象，是数据驱动的学科。统计学习的目的是对数据进行预测与分析

支持向量机（supportvectormachines，SVM）是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划（convexquadraticprogramming）的问题，也等价于正则化的合页损失函数的最小化问题。支持向量机

利用Python连接MySQL将表单转化为DataFrame表中数据来自于《统计学习方法》第二版P71页1.创建loan_application表单CREATETABLEloan_application

Probit模型和Logit模型都是常用的统计学习方法，主要用于二分类问题中。相同点：它们都是广义线性模型，通过建立数据与概率之间的联系来预测离散响应变量的可能性。

统计学习，也称统计机器学习，什么是学习，如果一个系统能够通过执行某个过程改进它的性能，就说这个系统可以学习。按此定义，统计机器学习，就是计算机系统通过运行数据及统计方法提高系统性能的机器学习。它以计算机和网络为平台，以数据为研究对象，目的是对数据进行预测与分析。统计学习以方法为中心，方法构建模型，再应用模型去预测与分析。1.统计学习建立在计算机和网络之上自不必说。2.之所以以数据为研究对象，是因为

1.Logistic模型概述Logistic模型，又称为逻辑回归模型，是一种广泛应用于分类问题的统计学习方法。与线性回归模型不同的是，Logistic模型的输出是概

其实很多时候，我们机器学习的算法从本质上来看，就是一种统计学习方法。所以，贝叶斯概率学派的很多思想，是理解机器学习的关键所在。贝叶斯回归显然是贝叶斯理论在线性回归的一个应用。

关于具体的理论推导可以查阅统计学习方法（李航著）。序列最小优化（SMO）算法是将大的优化问题分解为多个小的优化问题来求解的。其原理是每次循环中选择两个alpha进行优化处理。

这里我们举个例子来说明什么是野指针，还是上学期，学妹找我借书，李航写的，统计学习方法。我就告诉她，书给我放到实验室我位置上的柜子上了。就相当于我指向一个数据给他，让她去那里找，然

感知机模型感知机是一个二分类的线性分类模型，之所以说是线性，是因为它的模型是线性形式的。概念我们分别从输入空间、输出空间、模型结构、参数空间和假设空间来看一下感知机。输入输入空间：X⊆Rn\mathcal{X}\subseteq\mathbf{R}^nX⊆Rn；输入：x=(x(1),x(2),⋯ ,x(n))T∈Xx=\left(x^{(1)},x^{(2)},\cdots,x^{(n)}\rig

内容源于公众号《简博士数据分析吧》和b站《【合集】十分钟机器学习系列视频《统计学习方法》》代码来自于https://blog.csdn.net/weixin_41566471/article/details

为什么叫支持向量机在第二章中我们学过感知机，它是最小化所有误分类点到超平面的距离之和，M为误分类点的集合，得到的分离超平面是不唯一的。min⁡ω,b[−∑xi∈Myi(ω⋅xi+b)]\min_{\omega,b}[-\sum_{x_i\inM}y_i(\omega\cdotx_i+b)]ω,bmin[−xi∈M∑yi(ω⋅xi+b)]在支持向量机中，{分类确信度∣ω⋅xi+b∣∣∣ω∣∣分类正确

本文包括：1.走近朴素贝叶斯-上帝到底掷不掷骰子2.重要概念3.贝叶斯公式的一般形式5.朴素贝叶斯的基本方法6.贝叶斯估计其它有关数据分析，机器学习的文章及社群朴素贝叶斯-贝叶斯估计Python复现：朴素贝叶斯（Bayes）模型python复现-贝叶斯估计；下溢出问题-知乎(zhihu.com)1.走近朴素贝叶斯-上帝到底掷不掷骰子：上帝到底掷不掷骰子，这个问题精准地概括了相对论和量子力学之间的矛

EM算法的例子《统计学习方法》例9.1（三硬币模型）：假设有3枚硬币，分别记作A，B，C。这些硬币正

1.逻辑回归概念逻辑回归是一种用于分类问题的统计学习方法。尽管名字中带有"回归"二字，但逻辑回归实际上是一种分类算法，主要用于将数据分为两个或多个离散的类别。

引言这是统计学习方法第十一章条件随机场的阅读笔记，包含所有公式的详细推导。

文章目录统计学习方法感知机学习算法感知机输入算法的原始形式算法的收敛性统计学习方法感知机学习算法读李航《统计学习方法》的一些笔记，感知机学习算法的推导过程有一些细节想记录一下。

参考《统计学习方法》李航等SVM定义SVM(SupportVectorMachine，支持向量机)，是一种用来进行二分类的机器有监督的学习方法，是定义在特征空间上的间隔最大的线性分类器。

统计学习的特点统计学习是关于计算机基于数据构建概率模型并运用模型对数据进行预测与分析的一门学科统计学习的主要特点是：统计学习以计算机及网络为平台，是建立在计算机及网络上的统计学习以数据为研究对象，是数据驱动的学科统计学习的目的是对数据进行预测与分析统计学习以方法为中心，统计学习方法构建模型并应用模型进行预测与分析统计学习是概率论

朴素贝叶斯（NB）[学生党学习笔记，如有错误谢谢各位大佬指出]所用书籍：《统计学习方法》-李航一、概述  朴素贝叶斯模型首先基于特征条件独立假设，学习输入的联合概率分布；然后基于此模型，对给定的输入x，

机器学习是一种统计学习方法，机器人和计算机等机器需要使用大量数

详细的推导可参考李航统计学习方法第10章。本文目录如下：目录隐马尔可夫模型简介HMM基本假设HMM三要素（也即参数）HMM基本问题概率计算问题学习问题预测问题隐马尔可夫模型简介HMM可用于标注问题。

统计学习方法。吴达的机器学习。

统计学习方法三要素——模型、策略、算法，对理解统计学习方法起到提纲挈领的作用。

李航的《统计学习方法》对SVM的原理进行了详细的推导，CSDN的博客专家July也对SVM的数学原理进行了完整的总结。本文在看了这些大佬的文章后

文章目录前言一、文章重点及流程梳理二、概率论基础知识三、参数估计1.极大似然估计（MaximumLikelihoodEstimation）2.贝叶斯估计前言写作参考概率论书籍、西瓜书、李航《统计学习方法