统计学习第25页

Python 支持向量机

学习目标：Python代码实现向量机学习内容：支持向量机，是属于统计学习中的一种常见算法，但这种算法如果使用计算器计算的话也是浪费时间，哪怕是用计算机计算，也会很麻烦，所以使用代码来进行计算，简单快捷。

Merliang·2021-04-29 21:19

简明数据科学第二部分：统计学习的关键概念

首先，将定义什么是统计学习。然后

TalkingData·2021-04-27 23:49

【笔记】《统计学习方法》

结果居然还不支持Latex和目录TOC、、、公式比较多的只好用CSDN了，本文只记目录的CSDN链接《统计学习方法》是学习机器学习原理的“必修课”，抽出点时间把之前看的时候的标注数字化一下，供自己以后回忆用

PancakeCard·2021-04-27 08:31

朴素贝叶斯简单实现（c++）

根据《统计学习方法》以例4.1的数据为例实现的朴素贝叶斯。感觉最后计算比较时候可以避免使用double，但是为了思路清晰就这样把。

gibyeng·2021-04-25 13:52

李航老师《统计学习方法》第二版第七章课后题答案

1、比较感知机的对偶形式与线性可分支持向量机的对偶形式。1.1、感知机的对偶形式由于李航老师书上的感知机的对偶形式有点问题，这里先对其进行一下改进最后学习到的感知机的参数是：w=∑i=1Nαiyixi(1)w=\sum_{i=1}^{N}\alpha_{i}y_{i}x_{i}\tag{1}w=i=1∑Nαiyixi(1)b=∑i=1Nαiyi(2)b=\sum_{i=1}^{N}\alpha_{

六七～·2021-04-23 16:35

统计学习方法读书笔记——第二章感知机

概述感知机（perceptron）是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别。感知机对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型。2.1感知机模型定义：感知机是一种线性分类模型，属于判别模型。假设空间是定义在特征空间中所有线性分类模型，即函数集合。感知机的几何解释：2.2感知机学习策略2.2.1数据集的线性可分性线性可分：存在某个超平面能够将数据集的正实例

Jarkata·2021-04-23 13:30

【统计学习方法读书笔记与算法实现】2-KNN算法

KNN算法的基本思路：给定一个训练数据集，对于新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把这个输入实例分为这个类。三个核心要素：k：邻近的实例个数距离：如何度量新的输入实例与训练集中样本的距离【如何度量两个样本点的相似程度】对于n维实数向量空间Rn，使用欧氏距离；其他的距离/相似度度量方法有：http://www.cnblogs.com/daniel-

Macroholica·2021-04-23 06:03

支持向量机 Support Vector Machine

支持向量机（SVM）是90年代中期发展起来的基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的

Skye_kh·2021-04-22 06:37

7 支持向量机SMO算法（python代码）

原理参考：https://zhuanlan.zhihu.com/p/77750026SMO算法python代码公式参考统计学习方法第7章importnumpyasnpimportpandasaspdfromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitimportmathdefcrea

奋斗的喵儿·2021-04-21 16:09

统计学习方法第一章笔记

1.3统计学习三要素1.3.2策略损失函数和风险函数。损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏。

_爱碎碎碎碎念·2021-04-20 11:48

ISLR细读-01

Python棒棒棒，然而在简明扼要地理解机器学习/深度学习的基石，即：统计学习(StatisticalLearning)上，R会更加直白:R语言和RStudio相得益彰，Python和JupyterNotebook

Arrowmiles·2021-04-20 00:55

主成分分析PCA算法(相关矩阵的特征值分解算法和数据矩阵的奇异值分解算法)

下文截图来自：《统计学习方法第2版》李航 PCA利用正交变换把由线性相关的变量表示的观测数据转换为少数几个由线性无关变量表示的数据，线性无关的变量称为主成分。

#苦行僧·2021-04-19 21:25

李航老师《统计学习方法》第二版第六章答案

1、确认逻辑斯谛分布属于指数分布族。证明：逻辑斯谛分布的概率密度函数是：f(x)=e−(x−μ)/γγ(1+e−(x−μ)/γ)2(1)f(x)=\frac{e^{-(x-\mu)/\gamma}}{\gamma(1+e^{-(x-\mu)/\gamma})^{2}}\tag{1}f(x)=γ(1+e−(x−μ)/γ)2e−(x−μ)/γ(1)而指数族分布是指概率密度函数可以表示为下面的形式：p(

六七～·2021-04-19 16:35

第十四章聚类方法.14.2.3距离公式证明

文章目录主要内容系统聚类法的性质1、单调性2、空间的浓缩和扩张系统聚类法的比较本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。

oldmao_2001·2021-04-19 16:19

第十四章聚类方法.14.2聚合聚类距离公式介绍

文章目录主要内容聚合聚类的具体过程聚合聚类算法与案例系统聚类法基本思想八种距离方法本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。

oldmao_2001·2021-04-18 20:55

第十四章聚类方法.14.2.1距离与相似度

文章目录主要内容层次聚类欧式距离的缺陷闵可夫斯基距离的缺陷兰⽒距离⻢⽒距离斜交空间距离相似系数的算法夹角余弦本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。

oldmao_2001·2021-04-18 18:11

2017.1-2017.8第二学期总结

•基础学习学习机器学习的基础知识，结合IanGoodfellow的《DeepLearning》和李航的《统计学习方法》，主要学习了机器学习中的数学

Ada_Bleau·2021-04-18 17:51

李航老师《统计学习方法》第二版第五章决策树课后答案

1、根据表5.1所给的训练数据集，利用信息增益比（C4.5算法）生成决策树。解：下面先给出计算信息增益比的程序，并且输出最好的特征importnumpyasnpdefinfo_ratio(D,Y,n):'''计算信息增益比Parameters----------D:numpyarray训练数据集.Returns-------最优特征.'''#下面开始修正数据集D和标签Yforindexinn:s=

六七～·2021-04-18 14:51

统计学习04：假设检验（t检验为例）与P值

假设检验HypothesisTesting是数理统计学中根据假设条件由样本推断总体的一种方法。采用反证法的思路，主要根据概率分布的小概率事件(0.05)进行决策；其中概率分布基本是以正态分布为基础。要点一、假设检验一般思路HypothesisTesting1、清楚自己的问题是什么？预期想得出什么结论？例如两种药是否存在药效差异、自变量与因变量是否存在回归关系....始终要牢记的是：假设检验回答的问

小贝学生信·2021-04-18 12:33

浅谈随机梯度下降&小批量梯度下降

首先我认为需要明确一点，即“梯度下降算法”在一个完整的统计学习流程中，属于什么？

陨落的小白·2021-04-18 04:32

第十四章聚类方法.14.1聚类的基本概念

文章目录主要内容相似度或距离闵可夫斯基距离马哈拉诺比斯距离相关系数余弦相似度小结类或簇类的性质类间距离度量本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。

oldmao_2001·2021-04-17 20:43

第十一章条件随机场.11.2 拟牛顿法

文章目录牛顿法拟牛顿法小结本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。

oldmao_2001·2021-04-14 12:35

11.25 统计学习方法

1.2监督学习统计学习包括监督学习，非监督学习，半监督学习及强化学习。监督学习（supervisedlearning）的任务是学习一个模型，使模型能够对人意给定的输入，对其相应的输出作出一个好的预测。

啦啦啦_9a5f·2021-04-14 06:54

时间序列预测：I概述

常用的模型，以下基本可以涵盖主流思想：传统时序模型：ARIMA，Prophet，EMD构造时序特征的统计学习方法：LR，GBDT(xgboost\lightgbm)深度学习方法：seq2seq，wavenet

YueTan·2021-04-13 22:15

李航老师《统计学习方法》第二版第四章答案

1、使用极大似然估计法推出朴素贝叶斯法概率估计公式（4.8）以及公式（4.9）.解答：概率估计公式（4.8）是：P(Y=ck)=∑i=1NI(yi=ck)N,k=1,2,...,KP(Y=c_{k})=\frac{\sum_{i=1}^{N}I(y_{i}=c_{k})}{N},k=1,2,...,KP(Y=ck)=N∑i=1NI(yi=ck),k=1,2,...,K概率估计公式（4.9）是：P(

六七～·2021-04-11 18:19

李航老师《统计学习方法》第二版第三章课后题答案

1、参照图3.1，在二维空间中给出实例点，画出kkk为1和2时的kkk近邻法构成的空间划分，并对其进行比较，体会kkk值的选择与模型复杂度及预测准确率的关系。解：唉，这一题花了很长时间才搞明白到底是要干啥。下面先简单的介绍一下，到底要干嘛，和k近邻的关系是啥。我们知道，k近邻算法在对一个新的数据点AAA进行分类的时候（这里就以分类来介绍），需要以AAA为中心，寻找距离AAA最近的k个点，这k个点是

六七～·2021-04-10 11:04

李航老师《统计学习方法》第二版第二章答案

1、Minsky与Papert指出：感知机因为是线性模型，所以不能表达复杂的函数，比如异或（XOR）。验证感知机为什么不能表示异或。解：下面是异或的运算结果：异或：如果两个值相同则异或操作的结果是0，如果不相同则为1由此我们可以看到，这也是一个二分类的问题，异或的运算如表所示XORaba01b10方法一：直观作图法如果我们去a=0,b=1,将上表的结果画在二维平面，如下图。我们可以看到，对于蓝色的

六七～·2021-04-07 16:41

hi | all for cpp

【目录】考点一：循环考点二：递归考点三：排序考点四：查找考点五：动态规划考点六：数学考点七：字符串考点八：数据结构考点九：统计学习附录：面试技巧BESTWISHESTOYOU考点一：『循环』题目1：√输入一个数

三金姐姐·2021-03-28 21:09

《统计学习方法》部分课后习题解答

习题3.2利用例题3.2构造的kd树求出点x=(3,4.5)Tx=(3,4.5)^Tx=(3,4.5)T的最近邻点从根节点出发，因为x(1)4.5x^{(2)}>4.5x(2)>4.5，所以选定叶节点(4,7)(4,7)(4,7)作为“当前最近点”，开始递归。向上回退到(4,7)(4,7)(4,7)的父节点(5,4)(5,4)(5,4)，设其为当前节点，因为父节点离xxx更近一些，所以更新"当前最

聪明勇敢的乔威同学·2021-03-26 21:26

《统计学习方法》之随机森林Random Forest

1.Bagging和Boosting在集成学习方法中，Bagging和Boosting是具有代表性的两大方法，Boosting方法是基于前向加法模型，基本分类器之间存在强依赖关系，每一步学习的分类器都依赖于前面分类器的预测结果，因此必须串行生成。而Bagging则是强调基本分类器之间不存在强依赖关系（不代表没有依赖关系），可以同时生成的并行化学习方法。Bagging是放回采样的过程，对于给定M个样

周恩国的学习笔记·2021-03-12 12:37

期望最大化算法

〇、说明在看到的资料里，包括周志华教授的《机器学习》[1]、李航博士的《统计学习方法》[2]，大多数材料把期望最大化算法看做是一个解决含有隐变量优化问题的算法，我认为这是对期望最大化算法的狭义理解；而在吴军博士的

城市中迷途小书童·2021-03-10 09:38

统计学习方法读书笔记——第四章朴素贝叶斯法

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。4.1朴素贝叶斯法的学习与分类4.1.1基本方法朴素贝叶斯法对条件概率分布作了条件独立性的假设。这是一个较强的假设，朴素贝叶斯法也因此而得名。朴素贝叶斯法分类时，对给定的输入x，通过学习到的模型

Jarkata·2021-03-08 16:10

统计学习方法读书笔记——第五章决策树

决策树是一种基本的分类与回归方法决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程，可以被认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。主要优点是：模型具有可读性，分类速度快。5.1决策树模型与学习5.1.1决策树模型分类决策树模型是一种描述对实例进行分类的树形结构，决策树由结点(node)和有向边(directededge)组成。结点有两种

Jarkata·2021-03-07 19:19

InsightFace：用OneFlow轻松实现超大规模人脸识别模型

人脸识别的算法演变经历了以PCA为代表的早期阶段，再到以“人工特征+分类器”为主的统计学习方法阶段，近几年，随着大数据及GPU算力的爆发，人脸识别进入到深度学习算法为绝对主角的阶段。

OneFlow深度学习框架·2021-03-03 19:22

统计学习方法第二章感知机算法

#-*-coding:utf-8-*-#@FileName:统计学习方法第二章感知机算法#@Software:PyCharm#@Author:liXu#@Time:2021//03//01importtimeimportnumpyasnpdefloaddata

莉莉酱z·2021-03-02 13:46

统计学习方法第2章感知机

第2章感知机感知机(perceotron)是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1，-1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。模型定义2.1（感知机）：假设输入空间是RnR^nRn，输出空间是{−1,+1}\{-1,+1\}{−1,+1}，从输入空间到输出空间的函数f(x)f(x)f(x)f(x)=sign(w⃗⋅x

NelsonCheung·2021-03-01 12:59

李航老师《统计学习方法》及相关资源（代码、课件）的汇总及下载

编辑|Will出品|字节AI李航：毕业于日本京都大学电气电子工程系，日本东京大学获得计算机科学博士学位。1990年至2001年就职于日本NEC公司中央研究所，任研究员，2001年至2012年就职于微软亚洲研究院，任高级研究员与主任研究员。2012年至2017年就职于华为技术有限公司诺亚方舟实验室，任首席科学家、主任。现任字节跳动科技有限公司人工智能实验室总监，北京大学、南京大学客座教授，IEEE会

风度78·2021-02-28 11:00

2022届字节跳动搜索算法实习生面经

Jiaxi_Cao·2021-02-19 23:49

李航《统计学习方法》课后习题答案（第2版）

李航《统计学习方法》课后习题答案（第2版）章节链接第1章统计学习及监督学习概论点击进入第2章感知机点击进入第3章k近邻法点击进入第4章朴素贝叶斯法点击进入第5章决策树点击进入第6章逻辑斯谛回归与最大熵点击进入第

#苦行僧·2021-02-19 18:26

朴素贝叶斯算法代码

《统计学习方法》第四章，测试数据同书本一样trainingData=[[1,'S',-1],[1,'M',-1],[1,'M',1],[1,'S',1],[1,'S',-1],[2,'S',-1],[2

Adopper·2021-02-19 10:57

感知机学习算法的对偶形式——代码

《统计学习方法》2.3importnumpyasnptrainingSet=np.mat([[1,1],[2,2],[1,3],[3,3],[5,3],[3,4]])y=[1,1,1,-1,-1,-1]

Adopper·2021-02-18 20:47

感知机学习算法代码实现

《统计学习方法》2.3感知机学习算法。

Adopper·2021-02-18 16:27

统计学习方法——修炼学习笔记4：朴素贝叶斯法

一、朴素贝叶斯法朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型对给定输入x，利用贝叶斯定理求出后验概率最大的输出y。二、基本方法训练数据集：image.png由X和Y的联合概率分布P(X,Y)独立同分布**产生朴素贝叶斯法通过训练数据集T学习联合概率分布p(X,Y)，先验概率分布：image.png条件概

Sam_L·2021-02-15 09:41

【唯一置顶】所有汇总帖地址

视频也有传送门）：中科大-凸优化《百面机器学习》笔记的汇总贴：《百面机器学习》-读书笔记汇总《机器学习》笔记的汇总贴：《机器学习》西瓜书-读书笔记汇总贴《深度学习》笔记的汇总贴：《深度学习》花书-读书笔记汇总贴《统计学习方法

及时行樂_·2021-02-12 20:46

机器学习损失函数小结

参考李航老师的《统计学习方法》关于损失函

不是一首歌的事·2021-02-05 17:17

自考马克思主义概述

学习目标：轻松了解马克思主义概论学习内容：马克思主义选择题学习时间：例如：1、周一至周五早起七点-八点学习产出：提示：这里统计学习计划的总量例如：1、技术笔记1遍2、CSDN技术博客1篇第一章知识点总结把世界的本质或本原归结为某一种古代朴素唯物主义哲学的的基本问题是物质和意识的关系问题世界观是人们对整个世界的根本看法和观点时间和空间既是绝对的

河软小宝·2021-02-03 20:18

李航统计学习方法第二章感知机

记录一下几个关键问题在感知机这章，机器学习的三要素分别为？（1）假设空间？（2）学习策咯？（3）优化算法？2.在学习策略中，点到超平面的距离为什么使用函数间隔，不使用几何间隔？转载于：为什么感知机使用函数间隔作为损失函数(忽略1/||w||)https://blog.csdn.net/zest_9527/article/details/893810883.函数间隔与几何间隔的区别？4.学习策略损失

落尘per·2021-01-31 16:04

统计学习方法读书笔记（二十七）-附录E KL散度的定义和迪利克雷分布的性质

全部笔记的汇总贴：统计学习方法读书笔记汇总贴PDF免费下载：《统计学习方法（第二版）》一、KL散度的定义二、迪利克雷分布的性质

及时行樂_·2021-01-27 21:04

统计学习方法读书笔记（二十六）-附录D 矩阵的基本子空间

全部笔记的汇总贴：统计学习方法读书笔记汇总贴PDF免费下载：《统计学习方法（第二版）》呃…感觉没啥好说的，主要就是看看书，用到的话就再琢磨琢磨就行。

及时行樂_·2021-01-27 21:48

统计学习方法读书笔记（十九）-马尔科夫链蒙特卡洛方法

全部笔记的汇总贴：统计学习方法读书笔记汇总贴PDF免费下载：《统计学习方法（第二版）》这个可以先看看，有视频，讲的还挺细：白板推导系列笔记（十三）-马尔科夫链蒙特卡洛方法蒙特卡罗法（MonteCarlomethod

及时行樂_·2021-01-27 20:50

推荐频道

统计学习