统计学习第4页

李航统计学习感知机算法实现

前言李航的《统计学习方法》和西瓜书是入门机器学习进而到深度学习的经典书籍，笔者是数学专业大二在读，在编程方面仍有许多不足之处，在已经看完相关经典书籍后开始编程实践。

没有改名卡y·2023-10-21 08:09

李航统计学习--感知机算法实现（python）

感知机1．感知机是根据输入实例的特征向量xxx对其进行二类分类的线性分类模型：f(x)=sign⁡(w⋅x+b)f(x)=\operatorname{sign}(w\cdotx+b)f(x)=sign(w⋅x+b)感知机模型对应于输入空间（特征空间）中的分离超平面w⋅x+b=0w\cdotx+b=0w⋅x+b=0。2．感知机学习的策略是极小化损失函数：min⁡w,bL(w,b)=−∑xi∈Myi(

_dingzhen·2023-10-21 08:38

统计学习方法隐马尔可夫模型

文章目录统计学习方法隐马尔可夫模型基本概念概率计算问题直接计算法前向算法后向算法前向概率和后向概率学习问题监督学习算法Baum-Welch算法E步M步参数估计公式算法描述解码问题近似算法Viterbi算法统计学习方法隐马尔可夫模型读李航的

Air浩瀚·2023-10-21 08:37

统计学习方法感知机

文章目录统计学习方法感知机模型定义学习策略学习算法原始算法对偶算法学习算法的收敛性统计学习方法感知机读李航的《统计学习方法》时，关于感知机的笔记。

Air浩瀚·2023-10-21 08:05

逻辑斯蒂回归详细解析 | 统计学习方法学习笔记 | 数据分析 | 机器学习

本文包括：1.重要概念2.逻辑斯蒂回归和线性回归3.二项逻辑斯谛回归模型4.逻辑斯蒂回顾与几率5.模型参数估计6.多项逻辑斯谛回归1.重要概念：在正式介绍逻辑斯蒂回归模型之前，需要先对一些基本概念有所了解，如果明白这些概念可以直接跳过。分布函数和密度函数：对于一个连续型随机变量，密度函数是指该变量在其可取值范围内为一个特定值的概率，分布函数即在一个特定值和小于该特定值的范围内出现的概率，可以理解为

舟晓南·2023-10-20 05:03

统计学习方法笔记——第一章（1）

概论1.统计学习方法三要素：模型（model）、策略（strategy）、算法（algorithm）2.实现步骤得到有限的训练数据集合确定包含所有可能的模型的假设空间，即学习模型的集合确定模型选择的准则

Run！Rabbit Run！·2023-10-20 04:50

《统计学习方法》读书笔记——第九章 EM算法及其推广

写在前面本系列博客是自己对于《统计学习方法》这本书的读书笔记，在读过每个章节以后根据自己的理解写下这一章的知识框架以及补充一些延伸知识点。

'Themis'·2023-10-19 23:53

统计学习02：概率分布及正态分布

要点一：从直方图到概率密度图1、直方图histogram直方图是一种直观的，对数据分布情况的图形表示，如下图加入为某校随机抽取50位教师平均年龄histogram如上，直方图最主要的是矩形bins宽度的设置，对应的高度即代表数据在bins范围内的分布情况。直方图很好地反映了这组数据的分布情况，但换一组同类型数据（再抽50位老师）直方图很大可能存在差异，但大体分布情况相同。针对分类变量的分布情况观察

小贝学生信·2023-10-19 17:32

统计学习方法 EM 算法

文章目录统计学习方法EM算法引入EM算法EM算法的导出EM算法的收敛性三硬币模型统计学习方法EM算法学习李航《统计学习方法》时关于EM算法的笔记引入概率模型中有时候同时包含观测变量（observablevariable

Air浩瀚·2023-10-19 10:11

第一章统计学习方法概论

1.1统计学习▶︎计算机系统通过运用数据及统计方法提高系统性能的机器学习。变量或变量组表述数据，数据分为连续变量和离散变量。

Estherbabe·2023-10-18 15:47

学习笔记——概率论与数理统计

学习笔记——概率论与数理统计学习来源：https://www.bilibili.com/video/av36206436/学习笔记——概率论与数理统计（第一章）学习笔记——概率论与数理统计（第二章）学习笔记

追风赶月莫停留-_-·2023-10-18 08:02

腾讯自然语言处理实习面经

在内推前，简单把李航的统计学习方法，简历涉及的知识点都过了一遍，整理了一下，同时leetcode刷了大概100题。准备过后就把简历给师兄了。

zenRRan·2023-10-15 14:36

奇异值分解的定义及应用

1.定义2.证明3.紧凑奇异值分解和截断奇异值分解4.几何解释5.性质6.奇异值分解的计算7.奇异值分解与矩阵近似7.1弗罗尼乌斯范数7.2矩阵的最优近似7.3矩阵的外积展开式8.应用1.定义直接把《统计学习方法

香辣素毛肚·2023-10-14 23:42

R语言|两因素重复测量方差分析

转自个人微信公粽号【易学统计】的统计学习笔记：R语言：两因素重复测量方差分析01研究问题有研究将14名肥胖者随机分成2组，1组用A种减肥药，另一组用B种减肥药，坚持服药6个月，期间禁止使用任何影响体重的药物

小易学统计·2023-10-13 22:20

【深蓝学院】手写VIO第6章--视觉前端--作业(SVD分解部分复习)

总结一下，关于奇异值分解(SingularValueDecomposition，SVD)有以下内容摘抄自该博客，关于SDV分解的部分应该是摘自李航《统计学习方法里面的》：1.特征值分解设A为n阶方阵，若存在数

读书健身敲代码·2023-10-12 13:32

文本分类入门

Show=All文本分类入门(一)文本分类问题的定义文本分类系列文章，从文本分类问题的定义开始，主要讲解文本分类系统的构成，主流的统计学习方法以及较为优秀的SVM算法及其改进

LarryNLPIR·2023-10-11 10:22

机器学习代码实现篇——SVM

主体推导是根据李航老师《统计学习方法

lavendelion·2023-10-11 00:17

运用逻辑回归进行手写数字识别（基于R语言）

根据《统计学习导论》4.3.5响应分类数超过2的逻辑回归里的表述，当响应变量的水平数量大于2时，依然可以把二分类的逻辑回归推广到多分类，例如当Y可取1、2、3时，可利用概率的性质P(Y=1|X)=1-P

fanshunxing·2023-10-10 05:10

Godbolt配置tasking编译器

Java开发环境掌握Java基本语法掌握条件语句掌握循环语句学习时间：提示：这里可以添加计划学习的时间例如：周一至周五晚上7点—晚上9点周六上午9点-上午11点周日下午3点-下午6点学习产出：提示：这里统计学习计划的总量例如

woruyu999000·2023-10-09 23:24

《统计学习方法》学习笔记之第二章:感知机

目录第一节模型介绍和学习策略模型介绍学习策略第二节梯度下降法概念算法梯度下降法：例子原理第三节学习算法之原始形式学习问题原始形式例题分析第三节学习算法之对偶形式对偶形式例题分析第四节原始形式算法的收敛性第一节模型介绍和学习策略模型介绍输入空间：;输入：输出空间：;输出：感知机：其中，称为权值(Weight),称为偏置(Bias),表示内积假设空间：线性方程：特征空间中的一个超平面S(超平面比特征空

资料加载中·2023-10-07 05:23

《统计学习方法》学习笔记之第一章

统计学习方法的学习笔记：第一章目录第一节统计学习的定义与分类统计学习的概念统计学习的分类第二节统计学习方法的基本分类监督学习无监督学习强化学习第三节统计学习方法三要素模型策略第四节模型评估与模型选择训练误差与测试误差过拟合与模型选择第五节正则化和交叉验证正则化

资料加载中·2023-10-07 05:52

统计学习方法概论

1.统计学习统计学习包括监督学习、非监督学习、半监督学习、强化学习输入空间：输入变量取值的集合输出空间：输出变量取值的集合特征空间：所有特征向量存在的空间分类问题：输出变量为有限个离散变量的预测问题回归问题

slsefe·2023-10-06 23:38

梯度下降参数不收敛_数据分析|梯度下降算法

OX00统计学习三要素统计学习三要素：模型、策略、算法模型（=假设空间=所有备选模型）：决策函数（y=f（x）），条件概率分布，两种形式（一种是判别式模型，一种是生成式模型）策略：确定标准，决定最优标准最重要是确定损失函数

weixin_39622891·2023-10-06 13:45

统计学习笔记——统计学习三要素

参考书：《统计学习方法》——李航统计学习的三要素为：模型、策略、算法。写在前面的话：以下以监督学习为基础来进行论述。

Fiona_ll·2023-10-05 20:08

李沐动手学深度学习-过拟合和欠拟合

模型容量拟合各种函数的能力低容量的模型难以拟合训练数据高容量的模型可以记住所有的训练数据模型容量的影响估计模型容量难以在不同的种类算法之间比较：例如树模型和神经网络给定一个模型的种类，将有两个主要因素：参数的个数，参数值的选择范围VC维统计学习理论的一个核心思想对于一个分类模型

啥都想学点的研究生·2023-10-05 18:18

【AI】大数据机器学习—统计学习及监督学习概论

统计学习包括监督学习、无监督学习、半监督学习和强化学习。参考书是李航的《统计学习方法》，该书主要讨论监督学习。统计学习作为一个研究领域，主要包括统计学习方法、统计学习理论和统计学习应用。

CSU_DEZ_THU·2023-10-05 07:26

极大似然估计概念的理解——统计学习方法

目录1.最大似然估计的概念的理解12.最大似然估计的概念的理解23.最大似然估计的概念的理解34.例子1.最大似然估计的概念的理解1最大似然估计是一种概率论在统计学上的概念，是参数估计的一种方法。给定观测数据来评估模型参数。也就是模型已知，参数未定。已知某个随机样本满足某种概率分布，但是其中具体参数不太清楚，参数估计通过若干次的实验，观察其结果，利用结推出参数的大概值。最大似然估计是建立在这样的思

阿波拉·2023-10-04 14:38

深度学习——模型选择、欠拟合和过拟合

深度学习——模型选择、欠拟合和过拟合文章目录前言一、训练误差和泛化误差1.1.统计学习理论1.2.模型复杂性二、模型选择2.1.验证集2.2.K折交叉验证三、欠拟合or过拟合3.1.模型复杂性3.2.数据集大小四

星石传说·2023-09-30 20:35

机器学习之支持向量机(SVM)

1.概述支持向量机(SupportVectorMachine,也称为支持向量网络)是一种二分类模型.它源于统计学习理论,是一个强学习器.从分类效力来看,SVM无论在处理线性还是非线性分类中,都是明星般的存在

uodgnez·2023-09-29 05:35

李航老师《统计学习方法》第6章阅读笔记

逻辑斯谛回归（logisticregression）是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型（maximumentropymodel）。

Chen_Chance·2023-09-29 01:17

SVM发展历史、现状、未来趋势

起决定性作用的样本为支持向量1971年，Kimeldorf构造基于支持向量构建核空间的方法1995年，Vapnik等人正式提出统计学习理论。

席八·2023-09-27 09:46

《统计学习方法》SVM约束最优化的错误

函数间隔和几何间隔的不同按照统计学习方法这本书的说法函数和几何间隔之间其实是一个线性的映射其中是函数间隔，是几何间隔而且几何间隔的定义是其实我觉得他这样定义有问题约束最优化问题的表达无法理解书上说原问题可以表述为下面的最优化问题但是其实约束项的左右两边是一样的

pipicold·2023-09-27 09:45

李航老师《统计学习方法》第1章阅读笔记

1.1统计学习统计学习的特点统计学习：计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析现在人们提及机器学习时，往往指统计机器学习，所以可以认为本书介绍的是机器学习方法统计学习的对象统计学习研究的对象是数据

Chen_Chance·2023-09-27 01:13

ICASSP 2023 | 解密实时通话中基于 AI 的一些语音增强技术

作为RTC方案中不可或缺的技术，语音增强技术正从传统的基于统计学习的方案向基于深度学习的方案融合演进，利用AI技术，可以在语音降噪、回声消除、干扰人声消除等方面实现更

字节跳动技术团队·2023-09-24 14:18

李航老师《统计学习方法》第五章阅读笔记

决策树（decisiontree）是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。以下是关于分类决策树的一些基本概念和特点：树形结构：决策树模型呈现为一种树状结构，其中包括根节点、内部节点和叶子节点。每个节点表示一个特征或属性，每个边表示一个特征值或属性值的判断条件。从根节点开始，通过遵循不同的条件路径，最终到达叶子节

Chen_Chance·2023-09-24 00:50

李航老师《统计学习方法》第四章阅读笔记

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。朴素贝叶斯法是一种用来进行分类的方法，它基于两个重要的假设：贝叶斯定理和特征条件独立假设。贝叶斯定理：贝叶斯定理是一种用来估计事件发生概率的数学原理。它告诉我们如何根据已知的信息来计算未知事件的概率。在分类问题中，我们希望找到最有可能的类别，贝叶斯定理帮助我们基于已知信息来估计这些概率。特征条件独立假设：这是朴素贝叶斯法的一个关键假设，它有

Chen_Chance·2023-09-23 19:15

Hoeffing不等式

在李航老师的统计学习方法（第一版中）Hoeffing不等式Hoeffing不等式Hoeffing不等式是这样子给出的设X1,X2,...,XNX_1,X_2,...,X_NX1,X2,...,XN是独立随机变量

Chen_Chance·2023-09-23 07:40

李航老师《统计学习方法》第2章阅读笔记

感知机（perceptron）时二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面想象一下在一个平面上有一些红点和蓝点，这些点代表不同的类别。分离超平面就是一条线，可以将红点和蓝点分开，使得所有的红点都在一侧，而蓝点都在另一侧。这条线（或者平面，对于高维数据）被称为分离超平面。2.1感知机模型定义2

Chen_Chance·2023-09-22 21:40

朴素贝叶斯(NBM)之后验概率最大化的含义 | 统计学习方法

朴素贝叶斯-贝叶斯估计Python复现：舟晓南：朴素贝叶斯（Bayes）模型python复现-贝叶斯估计；下溢出问题在《统计学习方法》一书中，详细说明了后验概率最大化与期望风险最小化之间的关系，深入地说明了后验概率最大化的含义

舟晓南·2023-09-21 23:39

数据挖掘note（1）

数据挖掘一般分为机器学习和统计学习，大数据学的课程一般是关于机器学习，我们学的浅，主要关于统计学习，示意图如下所示：这是一个大数据时代，但是数据挖掘的利用率不足0.5%，可见数据挖掘的空间巨大！

术业有专攻，闻道有先后·2023-09-21 05:47

向前logistic回归与向后筛选出一样的变量_生存分析之Cox回归

转自个人微信公众号【Memo_Cleon】的统计学习笔记：生存分析之Cox回归。随访资料的生存分析是一个很大的题目。从分析的因素上看，有单因素分析和多因素分析。

weixin_40001395·2023-09-21 04:31

两个自变量和一个因变量spss_SPSS学习笔记：因变量二分类资料的logistic回归分析...

转自个人微信公众号【Memo_Cleon】的统计学习笔记两个概念：RR和OR二分类资料的logistic回归SPSS操作示例几个需要注意的问题：样本量、哑变量、模型拟合效果和拟合优度检验、多重共线【1】

weixin_39524741·2023-09-21 04:31

统计学习第四弹--随机变量的概率分布

关于随机变量概率分布的重要概念：概率：对事件的发生的可能性大小的度量值随机变量：事先不能确定其取值的变量离散型随机变量：只能取有限个值的随机变量连续型随机变量：可以取一个或多个区间中任何值的随机变量期望值：随机变量的平均取值，求法是取值乘以取值概率，是一种加权的平均数随机变量的方差：随机变量的每一个取值与期望值的离差平方的期望值参数：对总体特征的某个概括性度量统计量：对样本特征的某个概括性度量，是

自由的行走·2023-09-20 13:21

应届生校招经验汇总（主银行）

按照时间轴来写，从2019年七月份开始，到2019年12月结束我是武汉一名高校的研究生，2019年2月开始接触机器学习的内容，起先读了李航的《统计学习方法》，之后陆续读了西瓜书、python数据结构、算法第四版前几部分章节和

白色纯度·2023-09-19 06:43

svm

支持向量机是建立在统计学习理论基础之上的新一代机器学习算法，支持向量机的优势主要体现在解决线性不可分问题，它通过引入核函数，巧妙地解决了在高维空间中的内积运算，从而很好地解决了非线性分类问题。

gyDBD·2023-09-17 12:13

图像分割|机器学习 2019-05-09

本周计划1.看完代码2.学习统计学习方法1.代码●permute函数：a=rand(2,3,4);%这是一个三维数组，各维的长度分别为：2，3，4；%现在交换第一维和第二维：permute(A,[2,1,3

Rlinzz·2023-09-16 13:02

概率有向图模型（一）

文章目录前言概率有向图模型验证回到书中隐马尔可夫模型信念网络朴素贝耶斯总结前言经过前面的复习，我们把李航老师的《统计学习方法》中的监督学习部分回顾了一遍，接下来我们在此基础上，开始学习邱锡鹏老师的《神经网络与深度学习

赛文忆莱文·2023-09-14 12:05

《统计学习方法》阅读笔记及代码实现-Ch2

0.前言寒假参加夏令营的时候，老师就说过深度学习其实最开始的原型就是感知机，不过是多加了一些层而已。虽然不知道多加了几层为什么work，但是它的效果就是比传统的可证明的方法来的好，这也掀起了如今的AI狂潮+深度学习遍地走，你如果不会点机器学习算法，估计是招不到研究生的(玩笑话..并且机器学习也只是一种工具而已，没有那么玄乎其神)。一定要好好的钻研最经典的算法，从中汲取到养分，才能拥有核心的竞争力。

Muyun99·2023-09-13 10:14

概率论与数理统计学习笔记——day4

目录一.条件概率的定义二、乘法定理三、全概率公式四、贝叶斯(Bayes)公式一.条件概率的定义2.条件概率的基本性质3.条件概率的其它性质：二、乘法定理三、全概率公式四、贝叶斯(Bayes)公式

悠哉的zju·2023-09-09 02:17

概率论与数理统计学习笔记之——概率论的基本概念

概率论的基本概念1、随机试验随机试验具有以下特点：可以在相同的条件下重复地进行；每次试验的可能结果不止一个，并且能事先明确试验的所有可能结果；进行一次试验之前不能确定哪一个结果会出现。2、样本空间、随机事件2.1、样本空间我们将随机试验E的所有可能结果组成的集合成为E的样本空间，记为S。样本空间的元素，即E的每个结果，称为样本点。2.2、随机事件一般，我们称试验E的样本空间S的子集为E的随机事件，

前丨尘忆·梦·2023-09-09 02:17

推荐频道

统计学习