李航-统计学习第9页

书单

《说服的艺术》，《关键20小时快速学会任何技能》数学《统计学习方法》作者：李航王萱认为，这本书由浅入深，涉及的知识面非常广，算法包括NB、LR、SVM、CART、GBDT、感知机、最大熵、EM、HMM、

javaBoy_hw·2023-02-04 12:27

uniform机器学习极简入门7—机器学习入门概述

uniform机器学习极简入门这个系列已经介绍了6节课，大家对机器学习（统计学习）有了些了解（当然之前都是些基础），今天我们从宏观整体上介绍下什么是机器学习，以及目前机器学习的分类，包括我们后续会陆续和大家介绍的方向

uniform斯坦·2023-02-04 01:36

5. Resampling Methods

ResamplingMethods它们涉及从训练集中重复抽取样本，并在每个样本上重新拟合感兴趣的模型，以获得有关拟合模型的额外信息交叉验证可以用来估计与给定的统计学习方法相关的测试误差，以评估其性能，或者选择合适的灵活性水平

weixin_47891244·2023-02-03 17:11

2. Statistical Learning

StatisticalLearning什么是统计学习建立XXX与YYY的关系，通常可以写为：Y=f(X)+ϵY=f(X)+\epsilonY=f(X)+ϵ其中ϵ\epsilonϵ是独立于XXX均值为0的随机误差项

weixin_47891244·2023-02-03 17:01

神经网络二分类输出概率,神经网络二分类预测

支持向量机SVM(SupportVectorMachines)是由Vanpik领导的ATTBell实验室研究小组在1963年提出的一种新的非常有潜力的分类技术,SVM是一种基于统计学习理论的模式识别方法

ai智能网络·2023-02-03 16:56

统计学习——联合概率分布

什么是联合概率分布联合概率联合概率表示为包含多个条件并且所有的条件都同时成立的概率，记作P(X=a,Y=b)P(X=a,Y=b)P(X=a,Y=b)或P(a,b)P(a,b)P(a,b)，有的书上也习惯记作P(ab)P(ab)P(ab)1联合概率分布联合概率分布就是联合概率在样本空间中的分布情况。下面是百度百科上的定义：联合概率分布简称联合分布，是两个及以上随机变量组成的随机变量的概率分布。根据随

于一-7·2023-02-03 07:19

5、回归、分类知识点

回归、分类知识点1、书籍：2、回归知识点3、分类知识点1、书籍：《概率论与数理统计》、《统计学习方法》2、回归知识点1、损失函数多元求导与最小二乘2、凸函数与梯度下降3、正则化与范数（过拟合）4、模型误差

爱补鱼的猫·2023-02-02 17:27

对凸优化（Convex Optimization）的一些浅显理解

©作者|李航前单位|EPFL研究方向|计算机图形学与三维视觉最近学习了一些凸优化课程，整理笔记的同时写下一些自己的理解，向着头秃的道路上越走越远。

PaperWeekly·2023-02-02 11:32

机器学习+Linux学习之路

数学基础与编程基础：*《统计学习方法》李航*《DeepLearning》前面部分有数学原理推导*《机器学习实战》*Tensorflow官方文档资料+《Tensorflow技术解析和实战》简单看看*CS229

Frank_Zhang2ff·2023-02-01 14:44

机器学习之求解无约束最优化问题方法(手推公式版)

本篇博文内容主要来自李航老师的《统计学习方法》（

夏小悠·2023-02-01 12:52

留言赠书｜4位GNN一线大佬联手编撰新书，还未出版就爆火！

得到了清华大学教授、中国科学院院士张钹倾情作序推荐，同时韩家炜、沈向洋、张钹、李航、周志华等大咖联袂推荐！▲最新的GNN教程首发

文文学霸·2023-02-01 03:56

什么是注意力机制及其应用（self attention）？

一、引言注意力机制是自深度学习快速发展后广泛应用于自然语言处理、统计学习、图像检测、语音识别等领域的核心技术，例如将注意力机制与RNN结合进行图像分类，将注意力机制运用在自然语言处理中提高翻译精度，注意力机制本质上说就是实现信息处理资源的高效分配

一只小小的土拨鼠·2023-01-31 13:21

实用机器学习笔记-第五章-集成学习

一、集成学习1.统计学习中的衡量模型指标1.1偏差：学习到的模型和真实模型之间的位移1.2方差：学习到的东西差别有多大1.3示意图1.4偏差-方差公式泛化误差:Ed[(y−f^(x)2)]=Bias[f

11408考研休息室·2023-01-31 09:15

《机器学习》阅读笔记第四章

增益率2.3基尼指数3.剪枝3.1预剪枝3.2后剪枝4.连续与缺失值4.1连续值离散化4.2缺失值处理1.建立决策树的基本流程1看这一章时有一种直观的感受：决策树是一种基于计算机算法的方法，而不太像是基于统计学习理论的方法

Golden_Baozi·2023-01-31 07:43

支持向量机（二）——线性可分支持向量机求解

笔者主要参考学习的是李航老师《统计学习方法（第二版）》[1]和周志华老师的西瓜书《机器学习》[2]。如有错误疏漏，烦请指正。如要转载，请联系笔者，[email protected]。

Herbert002·2023-01-31 07:21

机器学习可解释性（三）——影响函数（Influence function）推导

一、概述影响函数是一个应用广泛的统计学习概念，在Residualsandinfluenceinregression书中也有提及。可以用来衡量样本对模型参数的影响程度，也就是样本的重要性。

HMoS·2023-01-30 21:00

机器学习算法-KNN代码实现

机器学习算法-KNN代码实现一、KNN算法初步理解二、代码实现1.数据集处理2.创建model3.可视化总结一、KNN算法初步理解统计学习方法书上的解释：给定一个训练数据集，对于新的输入实例，在训练数据集中找到与该实例最邻近的

江南汪·2023-01-30 13:02

机器学习整理

轻松水过机器学习期末考试一、什么是机器学习1.1机器学习的发展历史与背景1.1.1人工智能与机器学习1.1.2机器学习的发展历程1.1.2.1感知机与连接学习1.1.2.2符号学习与统计学习1.1.2.3

LiuV.·2023-01-30 12:15

《gluon-动手学习深度学习》笔记-1 引言

https://zh.d2l.ai/d2l-zh.pdf1.1前言《模式识别和机器学习》和《统计学习基础》计算机学科是动手的学科，没有足够的动手能力难以取得很好的成果。

shchojj·2023-01-30 10:39

注意力机制(1)~ 预训练语言模型

背景机器学习：偏数学(《统计学习方法》--李航)深度学习(人工智能)项目：大数据支持(主流)problem:目前很多项目没有大数据支持(小数据)

天狼啸月1990·2023-01-30 09:28

《统计学习方法》-李航、《机器学习-西瓜书》-周志华总结+Python代码连载（二）--线性模型（Linear model）

一、线性回归（Linearregression）线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记，用公式表达为：,使得。那么怎么求得w，b呢？基本使用最小二乘法和梯度下降。最小二乘法：最小化均方差函数（本连载一中有相关解释）。梯度下降：是一种迭代算法。选取适当的初值，不断迭代，更新参数值，进行目标函数的极小化，直到收敛。由于负梯度方向是使函数值下降最快的方向，在迭代的每一步，以负梯度方向

xiao韩·2023-01-29 16:49

论文精读-基于双目图像的视差估计方法研究以及实现

基于双目图像的视差估计方法研究及实现第一章绪论1.1课题的研究背景与意义1.2双目视差估计的研究现状1.2.1传统立体匹配方法研究现状1.2.2统计学习方法研究现状1.2.3深度学习方法研究现状第一章绪论

【一叶知秋か]·2023-01-29 14:50

函数间隔和几何间隔

根据李航老师书，自己理清一下对于函数间隔和几何间隔部分的理解。

NIckWJJ·2023-01-29 10:23

香蕉树上第三根芭蕉——支持向量机（SVM）中函数间隔和几何间隔的理解及二者关系的证明推导

通过去抠书上字眼，如李航的统计学习方法，上面对于函数间隔和几何间隔描述分别是表示训练数据集到超平面距离，表示样本数据集到超平面距离，似乎没有什么区别。

香蕉树上看芭蕉·2023-01-29 10:22

统计学习基础（ESL）中文版

译者：szcf-weiyaESL指的是TheElementsofStatisticalLearning。因为（译者）自己也是统计学专业，所以想研读这本书，同时实现书中的算法及其例子，并尝试解决习题。说明参考文献保留原书的写法，如“EfronandTibshirani(1993)”指的是“Efron,B.andTibshirani,R.(1993).AnIntroductiontotheBootst

布客飞龙·2023-01-29 09:50

Ceph介绍及原理架构分享

苍山雪麓·2023-01-28 13:20

SVM支持向量机的应用

支持向量机基于统计学习理论，强调结构风险最小化。

chy3232·2023-01-28 10:02

Task5 svm

SVM-统计学习基础一开始讲解了最小间距超平面：所有样本到平面的距离最小。而距离度量有了函数间隔和几何间隔，函数间隔与法向量和有关，变为则函数间距变大了，于是提出了几何距离，就是对处理，除以，除

酱油啊_·2023-01-27 16:47

统计学习方法学习笔记（5）决策树

决策树5.1.决策树模型与学习5.2.特征选择5.3.决策树的生成5.4.决策树的剪枝5.5.CART算法决策树基本概述：算法类别：一种基本的分类和回归方法；基本结构：呈现树形结构，在分类问题中表示基于特征对实例进行分类的过程。主要优点：模型具有可读性，分类速度快。一般步骤：特征选择、决策树的生成和决策树的修剪。5.1.决策树模型与学习决策树的定义：分类决策树模型是一种描述对实例进行分类的树形结构

北岛寒沫·2023-01-26 23:16

西瓜书，南瓜书第六章：支持向量机

之前跟着统计学习方法对支持向量机进行了推导和学习，这次跟着datawhale和西瓜书又对支持向量机进行了深入复习，发现很多没有注意到的点，更为理解一些操作。

何草不玄丶·2023-01-26 12:13

《统计学习方法》读书笔记——感知机

刚开始学习机器学习算法不久，看了李航老师的《统计学习方法》，对我的帮助很大，让我从什么都不知道到现在有了初步的概念，现在打算回过头来整理一下读书时的思考，希望能加深自己的理解，如果能对看这篇文章的小伙伴有所帮助那就更好了

xuqn0606·2023-01-25 12:35

《统计学习方法》学习笔记 chapater2——感知机

按照统计学习方法三要素来学习：模型、策略、算法。模型定义比较冗长，自己去看，只说核心点，模型函数：f(x)=sign(wT⋅x+b)f(x)=sign(w^T\cdotx+b)f(x)

nullpo_·2023-01-25 12:05

统计学习方法读书笔记3-感知机SVM

文章目录1.感知机模型2.感知机的学习策略1.数据集的线性可分性2.感知机学习策略3.感知机学习算法1.原始形式-随机梯度下降法2.对偶形式4.感知机算法收敛性证明感知机是二类分类的线性分类模型，其输入是实例的特征向量，输出为实例的类别，属于判别模型。感知机旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法，对损失函数进行极小化，得到感知机模型。1.感知机模

哎呦-_-不错·2023-01-25 12:34

统计学习方法学习笔记1——感知机模型

1.感知机学习算法的原始形式输入：训练数据集T={(x1,y1),(x2,y2),...,(xn,yn)},其中xi属于R，yi属于{+1,-1},i=1,2,...,n;学习率h(0

ChaucerG·2023-01-25 12:31

《统计学习方法》学习笔记——感知机数学推导

1.什么是感知机感知机是二类分类的线性模型。2.核心思想找一个超平面，把正例和负例分开。我们可以用来表示这个超平面。（w=(x1,x2,x3,…)为法向量，决定了超平面的方向；b为截距，决定了超平面与原点的距离）我们把决策函数定义为：当wx+b>=0时，f(x)=+1，样本被分为正类；当wx+b=0的点来说，如果他被错误分类了，即预测值y=-1；对于负类点，y=+1。所以最终把他们相乘，得到的肯定

逃课去学习:)·2023-01-25 12:31

统计学习方法学习笔记（4）朴素贝叶斯法

朴素贝叶斯法4.1.朴素贝叶斯法的学习与分类4.1.1.基本方法4.1.2.后验概率最大化的含义4.2.朴素贝叶斯法的参数估计4.1.朴素贝叶斯法的学习与分类4.1.1.基本方法朴素贝叶斯模型中的训练数据集由输入变量和输出变量的联合概率分布产生。朴素贝叶斯法通过训练数据集学习联合概率分布。具体地，学习先验概率分布和条件概率分布。朴素贝叶斯法的假定：朴素贝叶斯法进行了条件独立性假设，也就是假设各个特

北岛寒沫·2023-01-25 12:58

李航：统计学习方法学习笔记 2 感知机三问

李航：统计学习方法学习笔记2感知机三问1.空间中任意一点x0到超平面S的距离公式推导2.Novikoff定理中为何可以直接令∣∣w^opt∣∣=1||\hatw_{opt}||=1∣∣w^opt∣∣=1

雪清Fand·2023-01-25 12:58

统计学习方法学习笔记（3）K近邻法

K近邻法3.1.K近邻算法3.2.K近邻模型3.3.K近邻法的实现：kd树3.1.K近邻算法算法步骤：给定一个训练数据集，对于一个新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于哪一个类，就把该输入实例分为这个类。最邻近算法：最邻近算法是K=1时的特殊情形。K近邻算法特点：K近邻算法没有显式的学习过程。3.2.K近邻模型K近邻模型的三个基本要素：距离度量、K值的选择、

北岛寒沫·2023-01-25 12:28

统计学习方法学习笔记（2）感知机

感知机2.1.感知机模型2.2.感知机学习策略2.3.感知机学习算法感知机的概述：感知机是用于二分类的线性分类模型。输入为实例对象的特征向量，输出为实例的类别，类别用±1表示。感知机将实例划分为正负两类分离超平面，属于判别模型。感知机算法通过随机梯度下降法进行求解。感知机算法的优点在于简单且易于实现。感知机算法是神经网络算法和支持向量机算法的基础。2.1.感知机模型感知机的定义：假设输入空间包含于

北岛寒沫·2023-01-25 12:26

马尔可夫链(Markov chain)的性质

本文内容主要参考：李航老师的《统计学习方法》以下介绍离散状态马尔可夫链的性质。可以自然推广到连续状态马尔可夫链。

Fo*(Bi)·2023-01-24 17:49

马尔可夫链(Markov chain)的基本认识

本文内容主要参考：李航老师的《统计学习方法》还有看看马尔科夫链一、马尔可夫链在统计学中的定义马尔可夫链（MarkovChain），描述了一种状态序列，其每个状态值取决于前面有限个状态。

Fo*(Bi)·2023-01-24 17:19

复现经典：《统计学习方法》第 4 章朴素贝叶斯

本文是李航老师的《统计学习方法》[1]一书的代码复现。作者：黄海广[2]备注：代码都可以在github[3]中下载。我将陆续将代码发布在公众号“机器学习初学者”，敬请关注。

湾区人工智能·2023-01-24 11:44

python数据分析与机器学习实战_Python数据分析与机器学习实战（Numpy）

python常用库：numpy,pandas,matplotlib,scikit-learn,tensorflow机器学习需要：算法、数据、程序、评估、应用机器学习应用领域：计算机视觉、语音识别、自然语言处理、统计学习

weixin_39905500·2023-01-22 13:44

【ML·机器学习】S1P1统计学习

【ML·机器学习】S1·统计学习方法，为：【ML·机器学习】系列博客第一部分内容，内容主要相关数学、统计学等理论与计算机知识的结合。本节S1P1主要内容为介绍统计学习的相关概念，特点，对象，目的等。

脚踏实地的大梦想家·2023-01-22 12:30

coder~dreamer·2023-01-21 21:20

负荷预测的MATLAB源码，有对应的参考资料

首先阐述了负荷预测的应用研究现状，概括了负荷预测的特点及其影响因素，归纳了短期负荷预测的常用方法，并分析了各种方法的优劣；接着介绍了作为支持向量机（SVM）理论基础的统计学习理论和SVM的原理，推导了SVM

「已注销」·2023-01-21 11:55

AI工程师技术学习进阶指南

数学基础微积分《北京大学高等数学B》线性代数北京大学出版社，《线性代数简明教程》MIT的线性代数公开课概率论与数理统计李航《统计学习方法》朴素概率论钟开来概率论朴素统计学理论北京大学出版社，《概率论与数理统计下册

保护我方鲁班七号·2023-01-20 13:08

m基于多核学习支持向量机MKLSVM的数据预测分类算法matlab仿真

目录1.算法描述2.仿真效果预览3.MATLAB核心程序4.完整MATLAB1.算法描述20世纪60年代Vapnik等人提出了统计学习理论。基于该理论,于90年代给出了一种新的学习方法——支持向量机。

我爱C编程·2023-01-18 18:37

《统计学习方法》Chapter.4 朴素贝叶斯（naive Bayes）

NaiveBayes朴素贝叶斯理论基本方法输入空间：X⊆RnX\subseteqR^nX⊆Rn为nnn维离散向量空间的集合（本文只介绍离散特征空间下的朴素贝叶斯方法）输出空间：Y={c1,c2,...,cK}Y=\{c_1,c_2,...,c_K\}Y={c1,c2,...,cK}训练数据集：T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2

taotaoiit·2023-01-18 17:41

朴素贝叶斯模型（naive bayes）

朴素贝叶斯模型（naivebayes）注：本博客为周志华老师《机器学习》的读书笔记，但同时也参考了李航老师的《统计学习》方法，以及其他资料（见参考文献），虽有自己的理解，但博客里的例子是基于《机器学习》

天泽28·2023-01-18 17:38

推荐频道

李航-统计学习

书单