统计学习方法第16页

统计学习方法第三章：k近邻法(k-NN),kd树及python实现

统计学习方法第二章：感知机(perceptron)算法及python实现统计学习方法第三章：k近邻法(k-NN),kd树及python实现统计学习方法第四章：朴素贝叶斯法(naiveBayes)，贝叶斯估计及

无限大的饿·2021-06-06 14:11

统计学习方法第五章：决策树(decision tree),ID3算法，C4.5算法及python实现

统计学习方法第二章：感知机(perceptron)算法及python实现统计学习方法第三章：k近邻法(k-NN),kd树及python实现统计学习方法第四章：朴素贝叶斯法(naiveBayes)，贝叶斯估计及

无限大的饿·2021-06-05 23:51

统计学习方法 | 朴素贝叶斯法

01分类方法之前我们学习了一种分类方法——K近邻法(KNN)，今天我们再学习一种更常用的分类方法朴素贝叶斯法这里，我们先区分一下“分类”和“聚类”分类的目的是学会一个分类函数或分类模型(也常常称作分类器)，该模型能把新输入的数据映射到给定类别中的某一个类中。聚类(clustering)是指根据“物以类聚”原理，将本身没有类别的样本聚集成不同的组(簇)，并且对每一个这样的簇进行描述的过程。它的目的是

邓莎·2021-05-18 09:43

ml笔记4：SVM概念理解

本文纯理论，来源于AndrewNg公开课和李航的《统计学习方法》。

董泽润·2021-05-14 13:29

CH1 统计学习方法概论|1.8分类问题《统计学习方法》-学习笔记

文章原创,最近更新：2018-06-201.什么是二分类?2.TP/FN/FP/TN3.精确率Precision、召回率Recall和F1值4.总结参考链接:1、谈谈准确率（P值）、召回率（R值）及F值2、深度学习基础知识04-二分类问题3、准确率、精确率和召回率前言：通过网上找的文章,通过归纳总结具体如下:1.什么是二分类?先来介绍什么是二分类问题。在二分类问题中，通常分类的结果只有两个:是(Y

努力奋斗的durian·2021-05-12 03:20

第十五章15.2矩阵奇异值分解基本定理

文章目录本章内容奇异值分解基本定理前提假设证明例题本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。

oldmao_2001·2021-05-11 19:25

第十五章15.1矩阵奇异值分解步骤

文章目录本章内容矩阵的奇异值分解正交矩阵矩阵的奇异值分解矩阵的满秩分解本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。

oldmao_2001·2021-05-10 20:08

CH4朴素贝叶斯法|《统计学习方法》-学习笔记

文章原创,最近更新：2018-06-231.分类问题综述2.概率基础3.朴素贝叶斯分类4.贝叶斯推断5.案例参考链接:1、CH10分类|10.1朴素贝叶斯《白话大数据与机器学习》-学习笔记2、带你理解朴素贝叶斯分类算法3、机器学习(10)之趣味案例理解朴素贝叶斯4、朴素贝叶斯分类和预测算法的原理及实现前言：通过网上找的文章,通过归纳总结具体如下:1.分类问题综述贝叶斯分类是一类分类算法的总称，这类

9e3ff1e0e2cf·2021-05-10 01:22

EM算法系列(五)-三硬币问题

整理自李航老师的《统计学习方法》一书1、引言概率模型有时既含有观测变量，又含有隐变量或潜在变量，如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计法，或贝叶斯估计法估计模型参数，但是，

文哥的学习日记·2021-05-08 10:46

集成学习系列(二)-AdaBoost算法原理

根据李航老师的《统计学习方法》一书整理。1、提升方法的基本思路提升方法基于这样一种思路：对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断好。

文哥的学习日记·2021-05-04 21:13

支持向量机

支持向量机0.引言本文主要参考了李航的《统计学习方法》。是本人学习支持向量机的学习笔记。

吴金君·2021-05-03 22:05

Hoeffding不等式的认识以及泛化误差上界的证明

参考书目和论文：《统计学习方法》ATutorialonSupportVectorMachineforPatternRecognition在机器学习中我们知道学习方法的泛化能力往往是通过研究泛化误差的概率上界所进行的

云时之间·2021-05-03 06:53

CART构建与剪枝

我们的例子是李航的《统计学习方法》

付剑飞·2021-05-03 02:03

2018-04-21

实现统计学习方法的步骤得到有限的数据训练集学习模型的集合：确定包含所有可能的模型的假设空间学习策略：确定模型选择的准则学习算法：实现求解最优模型的算法模型选择评估训练误差：期望风险，经验风险，经验风险最小化

5fb8f07b9fa0·2021-05-02 11:10

机器学习入门资料(免费高清pdf-持续更新中)

wz的技术窝·2021-04-30 22:55

【笔记】《统计学习方法》

结果居然还不支持Latex和目录TOC、、、公式比较多的只好用CSDN了，本文只记目录的CSDN链接《统计学习方法》是学习机器学习原理的“必修课”，抽出点时间把之前看的时候的标注数字化一下，供自己以后回忆用

PancakeCard·2021-04-27 08:31

朴素贝叶斯简单实现（c++）

根据《统计学习方法》以例4.1的数据为例实现的朴素贝叶斯。感觉最后计算比较时候可以避免使用double，但是为了思路清晰就这样把。

gibyeng·2021-04-25 13:52

李航老师《统计学习方法》第二版第七章课后题答案

1、比较感知机的对偶形式与线性可分支持向量机的对偶形式。1.1、感知机的对偶形式由于李航老师书上的感知机的对偶形式有点问题，这里先对其进行一下改进最后学习到的感知机的参数是：w=∑i=1Nαiyixi(1)w=\sum_{i=1}^{N}\alpha_{i}y_{i}x_{i}\tag{1}w=i=1∑Nαiyixi(1)b=∑i=1Nαiyi(2)b=\sum_{i=1}^{N}\alpha_{

六七～·2021-04-23 16:35

统计学习方法读书笔记——第二章感知机

概述感知机（perceptron）是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别。感知机对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型。2.1感知机模型定义：感知机是一种线性分类模型，属于判别模型。假设空间是定义在特征空间中所有线性分类模型，即函数集合。感知机的几何解释：2.2感知机学习策略2.2.1数据集的线性可分性线性可分：存在某个超平面能够将数据集的正实例

Jarkata·2021-04-23 13:30

【统计学习方法读书笔记与算法实现】2-KNN算法

KNN算法的基本思路：给定一个训练数据集，对于新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把这个输入实例分为这个类。三个核心要素：k：邻近的实例个数距离：如何度量新的输入实例与训练集中样本的距离【如何度量两个样本点的相似程度】对于n维实数向量空间Rn，使用欧氏距离；其他的距离/相似度度量方法有：http://www.cnblogs.com/daniel-

Macroholica·2021-04-23 06:03

7 支持向量机SMO算法（python代码）

原理参考：https://zhuanlan.zhihu.com/p/77750026SMO算法python代码公式参考统计学习方法第7章importnumpyasnpimportpandasaspdfromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitimportmathdefcrea

奋斗的喵儿·2021-04-21 16:09

统计学习方法第一章笔记

1.3统计学习三要素1.3.2策略损失函数和风险函数。损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏。监督学习问题是在假设空间中选取模型f作为决策函数，对于给定的输入X，由f（X）给出相应的输出Y，这个输出的预测值f(X)与真实值Y可能一致也可能不一致，用一个损失函数或者代价函数来度量预测错误的程度。损失函数是f（x）和Y的非负实值函数，记作L（Y，f（X））。常见的损失函数

_爱碎碎碎碎念·2021-04-20 11:48

主成分分析PCA算法(相关矩阵的特征值分解算法和数据矩阵的奇异值分解算法)

下文截图来自：《统计学习方法第2版》李航 PCA利用正交变换把由线性相关的变量表示的观测数据转换为少数几个由线性无关变量表示的数据，线性无关的变量称为主成分。

#苦行僧·2021-04-19 21:25

李航老师《统计学习方法》第二版第六章答案

1、确认逻辑斯谛分布属于指数分布族。证明：逻辑斯谛分布的概率密度函数是：f(x)=e−(x−μ)/γγ(1+e−(x−μ)/γ)2(1)f(x)=\frac{e^{-(x-\mu)/\gamma}}{\gamma(1+e^{-(x-\mu)/\gamma})^{2}}\tag{1}f(x)=γ(1+e−(x−μ)/γ)2e−(x−μ)/γ(1)而指数族分布是指概率密度函数可以表示为下面的形式：p(

六七～·2021-04-19 16:35

第十四章聚类方法.14.2.3距离公式证明

文章目录主要内容系统聚类法的性质1、单调性2、空间的浓缩和扩张系统聚类法的比较本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。

oldmao_2001·2021-04-19 16:19

第十四章聚类方法.14.2聚合聚类距离公式介绍

文章目录主要内容聚合聚类的具体过程聚合聚类算法与案例系统聚类法基本思想八种距离方法本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。

oldmao_2001·2021-04-18 20:55

第十四章聚类方法.14.2.1距离与相似度

文章目录主要内容层次聚类欧式距离的缺陷闵可夫斯基距离的缺陷兰⽒距离⻢⽒距离斜交空间距离相似系数的算法夹角余弦本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。

oldmao_2001·2021-04-18 18:11

2017.1-2017.8第二学期总结

•基础学习学习机器学习的基础知识，结合IanGoodfellow的《DeepLearning》和李航的《统计学习方法》，主要学习了机器学习中的数学

Ada_Bleau·2021-04-18 17:51

李航老师《统计学习方法》第二版第五章决策树课后答案

1、根据表5.1所给的训练数据集，利用信息增益比（C4.5算法）生成决策树。解：下面先给出计算信息增益比的程序，并且输出最好的特征importnumpyasnpdefinfo_ratio(D,Y,n):'''计算信息增益比Parameters----------D:numpyarray训练数据集.Returns-------最优特征.'''#下面开始修正数据集D和标签Yforindexinn:s=

六七～·2021-04-18 14:51

浅谈随机梯度下降&小批量梯度下降

根据《统计学习方法》这本书，统计学习一般有三个要素，即模型、策略和算法（目前以笔者的浅见，统计学习和机器学习没有太大的差别）。所谓模型，我们可以简单理解为数据的组织形式。

陨落的小白·2021-04-18 04:32

第十四章聚类方法.14.1聚类的基本概念

文章目录主要内容相似度或距离闵可夫斯基距离马哈拉诺比斯距离相关系数余弦相似度小结类或簇类的性质类间距离度量本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。

oldmao_2001·2021-04-17 20:43

第十一章条件随机场.11.2 拟牛顿法

文章目录牛顿法拟牛顿法小结本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。

oldmao_2001·2021-04-14 12:35

11.25 统计学习方法

1.2监督学习统计学习包括监督学习，非监督学习，半监督学习及强化学习。监督学习（supervisedlearning）的任务是学习一个模型，使模型能够对人意给定的输入，对其相应的输出作出一个好的预测。1.2.1基本概念1.输入空间，特征空间和输出空间（1）将输入与输出所有可能取值的集合分别称为输入空间与输出空间（2）特征空间：每个具体的输入是一个实例，通常由特征向量表示，所有特征向量存在的空间。如

啦啦啦_9a5f·2021-04-14 06:54

时间序列预测：I概述

常用的模型，以下基本可以涵盖主流思想：传统时序模型：ARIMA，Prophet，EMD构造时序特征的统计学习方法：LR，GBDT(xgboost\lightgbm)深度学习方法：seq2seq，wavenet

YueTan·2021-04-13 22:15

李航老师《统计学习方法》第二版第四章答案

1、使用极大似然估计法推出朴素贝叶斯法概率估计公式（4.8）以及公式（4.9）.解答：概率估计公式（4.8）是：P(Y=ck)=∑i=1NI(yi=ck)N,k=1,2,...,KP(Y=c_{k})=\frac{\sum_{i=1}^{N}I(y_{i}=c_{k})}{N},k=1,2,...,KP(Y=ck)=N∑i=1NI(yi=ck),k=1,2,...,K概率估计公式（4.9）是：P(

六七～·2021-04-11 18:19

李航老师《统计学习方法》第二版第三章课后题答案

1、参照图3.1，在二维空间中给出实例点，画出kkk为1和2时的kkk近邻法构成的空间划分，并对其进行比较，体会kkk值的选择与模型复杂度及预测准确率的关系。解：唉，这一题花了很长时间才搞明白到底是要干啥。下面先简单的介绍一下，到底要干嘛，和k近邻的关系是啥。我们知道，k近邻算法在对一个新的数据点AAA进行分类的时候（这里就以分类来介绍），需要以AAA为中心，寻找距离AAA最近的k个点，这k个点是

六七～·2021-04-10 11:04

李航老师《统计学习方法》第二版第二章答案

1、Minsky与Papert指出：感知机因为是线性模型，所以不能表达复杂的函数，比如异或（XOR）。验证感知机为什么不能表示异或。解：下面是异或的运算结果：异或：如果两个值相同则异或操作的结果是0，如果不相同则为1由此我们可以看到，这也是一个二分类的问题，异或的运算如表所示XORaba01b10方法一：直观作图法如果我们去a=0,b=1,将上表的结果画在二维平面，如下图。我们可以看到，对于蓝色的

六七～·2021-04-07 16:41

《统计学习方法》部分课后习题解答

习题3.2利用例题3.2构造的kd树求出点x=(3,4.5)Tx=(3,4.5)^Tx=(3,4.5)T的最近邻点从根节点出发，因为x(1)4.5x^{(2)}>4.5x(2)>4.5，所以选定叶节点(4,7)(4,7)(4,7)作为“当前最近点”，开始递归。向上回退到(4,7)(4,7)(4,7)的父节点(5,4)(5,4)(5,4)，设其为当前节点，因为父节点离xxx更近一些，所以更新"当前最

聪明勇敢的乔威同学·2021-03-26 21:26

《统计学习方法》之随机森林Random Forest

1.Bagging和Boosting在集成学习方法中，Bagging和Boosting是具有代表性的两大方法，Boosting方法是基于前向加法模型，基本分类器之间存在强依赖关系，每一步学习的分类器都依赖于前面分类器的预测结果，因此必须串行生成。而Bagging则是强调基本分类器之间不存在强依赖关系（不代表没有依赖关系），可以同时生成的并行化学习方法。Bagging是放回采样的过程，对于给定M个样

周恩国的学习笔记·2021-03-12 12:37

期望最大化算法

〇、说明在看到的资料里，包括周志华教授的《机器学习》[1]、李航博士的《统计学习方法》[2]，大多数材料把期望最大化算法看做是一个解决含有隐变量优化问题的算法，我认为这是对期望最大化算法的狭义理解；而在吴军博士的

城市中迷途小书童·2021-03-10 09:38

统计学习方法读书笔记——第四章朴素贝叶斯法

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。4.1朴素贝叶斯法的学习与分类4.1.1基本方法朴素贝叶斯法对条件概率分布作了条件独立性的假设。这是一个较强的假设，朴素贝叶斯法也因此而得名。朴素贝叶斯法分类时，对给定的输入x，通过学习到的模型

Jarkata·2021-03-08 16:10

统计学习方法读书笔记——第五章决策树

决策树是一种基本的分类与回归方法决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程，可以被认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。主要优点是：模型具有可读性，分类速度快。5.1决策树模型与学习5.1.1决策树模型分类决策树模型是一种描述对实例进行分类的树形结构，决策树由结点(node)和有向边(directededge)组成。结点有两种

Jarkata·2021-03-07 19:19

InsightFace：用OneFlow轻松实现超大规模人脸识别模型

人脸识别的算法演变经历了以PCA为代表的早期阶段，再到以“人工特征+分类器”为主的统计学习方法阶段，近几年，随着大数据及GPU算力的爆发，人脸识别进入到深度学习算法为绝对主角的阶段。

OneFlow深度学习框架·2021-03-03 19:22

统计学习方法第二章感知机算法

#-*-coding:utf-8-*-#@FileName:统计学习方法第二章感知机算法#@Software:PyCharm#@Author:liXu#@Time:2021//03//01importtimeimportnumpyasnpdefloaddata

莉莉酱z·2021-03-02 13:46

统计学习方法第2章感知机

第2章感知机感知机(perceotron)是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1，-1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。模型定义2.1（感知机）：假设输入空间是RnR^nRn，输出空间是{−1,+1}\{-1,+1\}{−1,+1}，从输入空间到输出空间的函数f(x)f(x)f(x)f(x)=sign(w⃗⋅x

NelsonCheung·2021-03-01 12:59

李航老师《统计学习方法》及相关资源（代码、课件）的汇总及下载

编辑|Will出品|字节AI李航：毕业于日本京都大学电气电子工程系，日本东京大学获得计算机科学博士学位。1990年至2001年就职于日本NEC公司中央研究所，任研究员，2001年至2012年就职于微软亚洲研究院，任高级研究员与主任研究员。2012年至2017年就职于华为技术有限公司诺亚方舟实验室，任首席科学家、主任。现任字节跳动科技有限公司人工智能实验室总监，北京大学、南京大学客座教授，IEEE会

风度78·2021-02-28 11:00

李航《统计学习方法》课后习题答案（第2版）

李航《统计学习方法》课后习题答案（第2版）章节链接第1章统计学习及监督学习概论点击进入第2章感知机点击进入第3章k近邻法点击进入第4章朴素贝叶斯法点击进入第5章决策树点击进入第6章逻辑斯谛回归与最大熵点击进入第

#苦行僧·2021-02-19 18:26

朴素贝叶斯算法代码

《统计学习方法》第四章，测试数据同书本一样trainingData=[[1,'S',-1],[1,'M',-1],[1,'M',1],[1,'S',1],[1,'S',-1],[2,'S',-1],[2

Adopper·2021-02-19 10:57

感知机学习算法的对偶形式——代码

《统计学习方法》2.3importnumpyasnptrainingSet=np.mat([[1,1],[2,2],[1,3],[3,3],[5,3],[3,4]])y=[1,1,1,-1,-1,-1]

Adopper·2021-02-18 20:47

感知机学习算法代码实现

《统计学习方法》2.3感知机学习算法。

Adopper·2021-02-18 16:27

推荐频道

统计学习方法