统计学习第21页

机器学习（3）：聚类算法之K均值算法、层次聚类和密度聚类

本文主要是依据李航老师的《统计学习方法》和邹博老师的机器学习教学视频总结编写的。文中所用到的有关机器学习的基

棉花糖灬·2022-06-24 07:59

学习记录-统计学习简介之统计学习方法概述

统计(机器)学习方法概述机器学习=神经科学与认知科学+数学+计算学习系统的一般模型输入变量、输出变量、隐藏变量机器学习根据给定的训练样本求对某系统输入输出之间依赖关系的估计，使它能够对未知输出作出尽可能准确的预测。机器学习问题的表示：（1）根据n个独立同分布观测样本数据确定预测函数f(x,w).（2）在一组函数{f(x,w)}中求一个最优的函数f(x,w0)对依赖关系进行估计，使预测的期望风险最小

mmmmmmonica·2022-06-23 07:44

统计学习方法笔记_cbr

第一章笔记，统计学习及监督学习概论目录第一章笔记，统计学习及监督学习概论1.1统计学习1.统计学习的特点2.统计学习的对象3.统计学习的方法4.统计学习的研究1.2统计学习的分类1.2.1基本分类1.监督学习

chenburong2021·2022-06-23 07:39

马尔可夫链(Markov Chain)，隐马尔可夫模型

隐马尔可夫模型：我是通过《统计学习》（李航）的书进行的学习，写的也是很

求求你来BUG行不行·2022-06-22 07:49

手写感知机，KNN，决策树（ID3）对iris（鸢尾花）进行二分类

手写感知机，KNN，决策树（ID3），贝叶斯，逻辑斯蒂回归（Lgistic),SVM对iris（鸢尾花）进行二分类我们统计学习这门课期末也是要求使用不同的二分类方法对同一个数据集进行分类并且进行比较。

求求你来BUG行不行·2022-06-15 07:30

Machine Learning with Matminer(附代码)

Matminer安装3.MLwithMatminer3.1获取Matminer内置数据集3.2建立特征3.3使用随机森林对带隙性质进行预测参考1.Matminer介绍随着材料数据集的规模和范围的扩大，数据挖掘和统计学习方法在分析这些材料数据集和建立预测模型方面的作用变得越来越重要

喝过期的拉菲·2022-06-14 09:42

统计学习方法第二版读书笔记_第五章决策树

第五章决策树5.1决策树模型与学习决策树学习通常包括3个步骤:特征选择,决策树的生成和决策树的修剪5.1.1决策树模型https://www.bilibili.com/video/BV1RC4y1p7wX?p=3定义5.1决策树5.1.2决策树与if-then规则https://www.bilibili.com/video/BV1RC4y1p7wX?p=45.1.3决策树与条件概率分布https:

EricZHAOedu·2022-06-13 07:45

机器学习中常用的数学及概率统计中的一些概念

文章目录一、高等数学1.偏导2.梯度二、线性代数三.概率论1.联合概率2.条件概率四.数理统计五.统计学习方法六、数值分析该博客主要整理一下在机器学习中会用到的数学相关的知识概念。

foda-dingzhibing·2022-06-12 07:02

OpenCV连通域数量统计学习示例

目录学习目标：核心代码代码执行说明学习目标：1.输入图像为分割结果图像2.根据种子填充法思路，遍历图像，得到每个连通域外接矩形坐标信息、面积信息核心代码/*Input:src:待检测连通域的二值化图像Output:dst:标记后的图像featherList:连通域特征的清单（可自行查阅文档）return：连通域数量。*/intconnectionDetect(Mat&src,Mat&dst,vec

·2022-06-07 10:13

logistic回归 java_GitHub - YeahNew/MyJavaLogisticRegression: Learn Logistic Regression and implement b...

MyJavaLogisticRegressionLearnLogisticRegressionandimplementedbyJavaThisrepositoryisusedtopracticelearnedknowledgeaboutJavaandLogisticRegression学习过程中用到的资料数据挖掘和机器学习方面：《机器学习》《统计学习方法

weixin_39621794·2022-06-05 08:08

【统计学习方法】模型评估与模型选择

一、训练误差与测试误差首先引入误差的概念，误差（error）是指：学习器的实际预测输出与样本的真实输出之间的差异。类似地，学习器在训练集上的误差被称之为训练误差（trainingerror）或者经验误差（empiricalerror），学习器在新样本上的误差称之为泛化误差（generalizationerror）（泛化误差亦即所学习到的模型的期望风险），学习器在测试集上的样本被称之为测试误差（te

jyyym·2022-06-05 07:06

Boosting族算法--Adaboost算法与GBDT算法原理(简单易懂)

CquptDJ·2022-06-04 07:56

机器视觉相关的实验室网址、大牛综述

1、机器视觉方向的大牛MichaelI.Jordan：统计学习方向的大大大大牛，曾经在MIT任教授10年，现在在加州大学伯克利分校任教授。他的学生几乎遍历美国CS方向的前20的所有高校。

stevedish_xiaojia·2022-05-30 11:30

统计学习方法笔记(未完待续)

前言：参考了一位NLP学长的博客，受益颇多，跟着学长学习李航老师的《统计学习方法》，希望整理一些重点，便于翻阅，日积月累，为三年后的面试打下基础！

popofzk·2022-05-30 07:50

《深度学习之Pytorch实战计算机视觉》笔记

第一章浅谈人工智能、神经网络和计算机视觉1.3.1生物神经网络1.3.2M-P模型弱人工智能强调人工强人工智能强调智能机器学习也被称为统计学习方法，机器学习中的大部分学习算法都是基于统计学原理的。

cherryyiyi·2022-05-27 07:34

k近邻(KNN)模型详细解读 | 统计学习方法学习笔记 | 数据分析 | 机器学习

目录1.走近k近邻-你周围的人决定了你是怎样的人：2.重要概念：3.k近邻算法的数学形式：4.k近邻模型的直观认识：5.如何计算距离：6.k值的选择：7.k近邻算法的损失函数：8.kd树数据结构：9.搜索kd树：KNN模型Python复现，使用了线性扫描；权值优化两种算法：舟晓南：k近邻（KNN）模型python复现-线性扫描；带权值的近邻点优化方法https://zhuanlan.zhihu.c

舟晓南·2022-05-26 07:26

梯度提升树（GBDT）算法原理详细总结

梯度提升树被认为是统计学习中性能最好的方法之一。

天才厨师1号·2022-05-25 07:23

统计学习方法（6）梯度提升决策树GBDT

统计学习方法（6）梯度提升决策树GBDT梯度提升决策树GBDTGBDT是以决策树为基学习器、采用Boosting策略的一种集成学习模型；与提升树的区别：残差的计算不同，提升树使用的是真正的残差，梯度提升树用当前模型的负梯度来拟合残差

简之·2022-05-25 07:01

机器学习：决策树 -- 学习笔记

参考文章决策树算法原理(上)-刘建平Pinard-博客园决策树算法原理(下)-刘建平Pinard-博客园李航《统计学习方法》第二版决策树算法决策树学习算法包含：特征选择决策树生成决策树的剪枝下面会分别对三个部分进行一定的总结

JingYuJingYuJingYu·2022-05-24 07:46

统计学习基础:数据挖掘、推理和预测_深度学习，统计学习，数学基础AI算法工程师手册：50章一网打尽...

weixin_39927799·2022-05-23 07:18

机器学习笔记 (3)-决策树模型

参考资料《机器学习》-周志华《统计学习方法》-李航《机器学习实战》-PeterHarrington(美)《加号机器学习讲义》-加号老师摘要机器学习包含监督学习、非监督学习、以及强化学习三大部分。

yanwosky4·2022-05-23 07:13

[学习记录] 关于逻辑回归logistics regression的公式相关

又到了找工作的时候，温故而知新，开一个新头公式书写是按照《统计学习方法》书中的命名，好像每个书也都不一样20210306先放一个手写版的，后续有时间再敲出来关于逻辑回归logisticsregression

小黑_BUPT·2022-05-21 07:22

统计学习导论（六）线性模型选择与正则化——学习笔记

1.子集选择1.1最优子集选择对ppp个预测变量的所有可能组合分别使用最小二乘回归进行拟合：对含有一个预测变量的模型，拟合ppp个模型；对含有两个预测变量的模型，拟合p(p−1)/2p(p-1)/2p(p−1)/2个模型……，最后在所有可能模型中选取最优模型。算法1最优子集选择（p个变量，在2p2^p2p个模型中选择最优模型）1.记不含预测变量的零模型为M0M_{0}M0，只用于估计各观测的样本均

鸭鸭鸭鸭鸭鸭·2022-05-19 07:31

李航统计学习方法第六章逻辑斯谛回归与最大熵模型

李航统计学习方法第六章逻辑斯谛回归与最大熵模型逻辑斯谛回归模型设XXX是连续随机变量,XXX服从逻辑斯谛分布是指XXX具有下列分布函数和密度函数:F(x)=P(X≤x)=11+e−(x−μ)/γF(x)

manong_dashen·2022-05-19 07:38

李航统计学习方法第四章朴素贝叶斯

李航统计学习方法第四章朴素贝叶斯基于贝叶斯定理和特征条件独立假设的分类方法.对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合分布;然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出

manong_dashen·2022-05-19 07:38

李航统计学习方法第2章感知机

第2章感知机介绍感知机模型,叙述感知机的学习策略,特别是损失函数;最后介绍感知机学习算法,包括原始形式和对偶形式,证明算法的收敛性.感知机模型f(x)=sign(w⋅x+b)f(x)=sign(w\cdotx+b)f(x)=sign(w⋅x+b)是模型函数www和bbb是模型参数,分别叫权值和偏置.感知机是判别模型.假设空间是线性分类器集合{f∣f(x)=w⋅x+b}\{f|f(x)=w\cdot

manong_dashen·2022-05-18 16:30

机器学习基础（3）—— 泛化能力、过拟合与欠拟合

参考：西瓜书第二章李航《统计学习方法（第二版）》第一章文章目录1.训练误差、测试误差与泛化性能1.1训练误差与测试误差1.2泛化能力1.2.1泛化误差1.2.2泛化误差上界2.过拟合和欠拟合2.1基础概念

云端FFF·2022-05-18 07:22

【统计学习方法】第四章朴素贝叶斯

模型定位：朴素贝叶斯属于分类模型、生成模型GitHub地址基本概念条件概率：P(A∣B)=P(AB)P(B)P(A|B)=\frac{P(AB)}{P(B)}P(A∣B)=P(B)P(AB)乘法公式：P(AB)=P(A∣B)∗P(B)P(AB)=P(A|B)*P(B)P(AB)=P(A∣B)∗P(B)贝叶斯公式：P(Y∣X)=P(X∣Y)∗P(Y)P(X)P(Y|X)=\frac{P(X|Y)*P

#Super Pig·2022-05-17 07:08

统计学习方法——第四章：朴素贝叶斯

朴素贝叶斯（1）该算法的理论核心是贝叶斯定理；（2）它是基于条件独立性假设这个强假设之下的，这也是该算法为什么称为“朴素”的原因。目的：学习联合概率分布P（Y/X）所以要先学习先验概率P（Y）和后验概率P（X/Y）我们要使用贝叶斯公式后验概率（X/Y）：为什么是这么多个参数？这里的参数其实指的是P（Xi/Yi）=u的对应值u，因为我们没有其他办法获取，只能测量，即从样本中数出P（Xi/Yi）的发生

取个程序猿的名字·2022-05-17 07:33

《统计学习方法》——第四章朴素贝叶斯及C++实现

Input:特征向量Output:实例类别可用于多分类，属于生成模型，先估计X,Y的联合概率分布P（X,Y），再计算条件概率P(Y|X)朴素贝叶斯法和朴素贝叶斯估计是两种不同的概念朴素贝叶斯法（model)---->参数估计参数估计={最大似然估计贝叶斯估计参数估计=\left\{\begin{aligned}最大似然估计\\贝叶斯估计\\\end{aligned}\right.参数估计={最大似

李滚滚·2022-05-17 07:26

电信保温杯笔记——《统计学习方法（第二版）——李航》第4章朴素贝叶斯法

电信保温杯笔记——《统计学习方法（第二版）——李航》第4章朴素贝叶斯法论文介绍特点数学基础条件概率全概率公式贝叶斯公式先验概率后验概率似然函数极大似然估计（MLE）最大后验概率估计（MAP）贝叶斯估计（

电信保温杯·2022-05-17 07:23

李航《统计学习方法》学习笔记之——第四章：朴素贝叶斯法

“李航《统计学习方法》学习笔记”系列教程以李航老师《统计学习方法》为基础，系列笔记内容主要包括我学习过程中对于书中算法原理的理解和重点知识的汇总。

码农的科研笔记·2022-05-17 07:13

概率还不会的快看过来《统计学习方法》——第四章、朴素贝叶斯法

博客主页：啊四战斗霸的博客收录专栏：《统计学习方法》第二版——个人笔记南来的北往的，走过路过千万别错过，错过本篇，“精彩”可能与您失之交臂laTripleattack(三连击):Comment,LikeandCollect

啊四战斗霸·2022-05-17 07:50

入门计算机视觉和人工智能深度学习+统计学习方法+机器学习+数字图像处理

包括Bengio大神的《深度学习》，李航的《统计学习方法》第二版，周志华教授的《机器学习》，最后还有冈萨雷斯经典的《数字图像处理》。

m0_62042883·2022-05-13 07:41

统计学习的分类

文章目录一.基本分类1.1监督学习1.2无监督学习1.3强化学习1.4半监督学习与主动学习二.按模型分类2.1概率模型与非概率模型2.2线性模型与非线性模型2.3参数化模型与非参数化模型三.按算法分类3.1在线学习3.2批量学习四.按技巧分类4.1贝叶斯学习4.2核方法Q1.什么是过拟合？Q2.正则化项一般形式？Q3.交叉验证方式？Q4.什么是泛化能力？一.基本分类1.1监督学习监督学习(supe

迪菲赫尔曼·2022-05-12 07:15

李航《统计学习方法》----KNN--例题解析+ 机器学习实战

（文章底部有代码和数据链接）模型介绍k近邻算法（k-nearestneighbor,k-NN)基本思想是：特征空间中的每个样本都可以用与它最近的K个邻居来代表。分类的过程是：k个邻居进行投票，将待预测样本归入得票最多的类别里面。模型三要素（1）k值的选择（2）距离的度量方法（3）分类决策规则常见的距离度量方式设两个n维向量x1和x2之间的距离度量方式有：1、曼哈顿距离：2、欧氏距离：3、切比雪夫距

weixin_37550997·2022-05-11 07:33

K近邻算法（KNN）的理论知识和代码实现【分类系列】

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、分类的定义二、评价分类器性能的指标三、统计学习方法3.1K近邻法3.2KNNpython算法实现前言机器学习中有三大任务：

CTH_菜菜不菜·2022-05-10 07:04

利用k近邻模型进行鸢尾花分类-Python实现

利用k近邻模型进行鸢尾花分类-Python实现数据集简介https://www.cnblogs.com/mandy-study/p/7941365.htmlK近邻算法参考书：李航的《统计学习方法》书上的内容写得比我好得多的多

anion_·2022-05-10 07:46

机器学习入门资源不完全汇总

因为学习算法中涉及了大量的统计学理论，机器学习与统计推断学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现

jq597·2022-05-09 07:07

命名实体识别BiLSTM-CRF

命名实体识别BiLSTM-CRF–潘登同学的NLP笔记文章目录命名实体识别BiLSTM-CRF--潘登同学的NLP笔记标注策略早期方法基于统计学习的方法深度学习方法BiLSTM-CRF如果不加CRF层CRF

PD我是你的真爱粉·2022-05-07 07:28

统计学习笔记-第7章支持向量机

第七章支持向量机(SupportVectorMachines,SVM)前言支持向量机这部分的知识点断断续续看了一周，看的头疼，至今仍有许多疑惑。在理解透彻之前先记下部分总结，也包括一些不懂的点，整理一下看的知识点，等有时间再回过头来仔细看看。支持向量机(SupportVectorMachine,SVM)的大名想必大家早有耳闻，其功能强大且用途广泛，既可以进行线性分类也可以进行非线性分类，甚至还可以

madao10086+·2022-05-05 07:12

K-近邻算法的超参数K值以及取值问题

举例说明：(K值相当于取得的样本数量个数去训练)K值过小：容易受到异常点的影响k值过大：受到样本均衡的问题K值选择问题，李航博士的一书「统计学习方法」上所说：1)选择较小的K值，就相当于用较小的领域中的训练实例进行预测

缘源园·2022-05-04 07:48

【ORB-SLAM2源码解读】论文公式

SpanningGraphCovisibilityGraphEssentialGraph非线性优化ORB_SLAM2论文翻译ORB-SLAM2论文全文翻译robustHubercostfunction在统计学习角度

SLAM实战教程·2022-05-03 07:29

《统计学习方法》——第二章、感知机模型

您的三连击是创作者的最大动力！感谢！！！一、感知机模型感知机是根据输入实例的特征向量x对其进行二类分类的线性分类模型，属于判别模型。感知机模型的假设空间是定义在特征空间中的所有线性分类模型或线性分类器，即函数集合。感知机模型的一般形式：其中，x表示特征向量，和b是感知机模型参数，叫做权值或权值向量，b叫做偏置（bias），表示和x的内积，sign是符号函数，即感知机模型对应于特征空间中的分离超平面

啊四战斗霸·2022-05-02 07:04

《统计学习方法》第三章——k近邻法及Python实现

一、概述本文是《统计学习方法》的第三章，包含k近邻算法的原理与python实现。希望自己能坚持下去，完成整本书的学习二、k近邻算法k近邻是一种基本的分类与回归方法。本文只讨论分类问题中的k近邻算法。

骑猪流浪江湖·2022-05-02 07:32

统计学习方法——第三章：KNN

K近邻模型k-nearestneighborK-NN解决多分类问题，对每个训练实例点xi，距离该点较近的k个点构成一个区域，叫做cell可以看到距离度量，K值选取，分类规则都会对模型产生较大的影响距离度量两个实例点的距离代表了相似程度，一般为欧式距离，但也可以是其他距离要注意，不同距离所得到的最近的k个点是不同的。举个例子K值近似误差：可以理解为对现有训练集的训练误差。如果近似误差小了会出现过拟合

取个程序猿的名字·2022-05-02 07:01

统计学习方法笔记（李航）———第三章（k近邻法）

k近邻法(k-NN)是一种基于实例的学习方法，无法转化为对参数空间的搜索问题（参数最优化问题）。它的特点是对特征空间进行搜索。除了k近邻法，本章还对以下几个问题进行较深入的讨论:切比雪夫距离L∞(xi,xj)L_{\infty}\left(x_{i},x_{j}\right)L∞(xi,xj)的计算“近似误差”与“估计误差"的含义k-d树搜索算法图解一、算法输入：训练集T={(x1,y1),(x2

越前浩波·2022-05-02 07:00

统计学习方法——2. K近邻法（KNN）

一、介绍k-近邻（K-NearestNeighbor,KNN）：大多数情况下用于分类。在给定的距离度量（欧式距离、曼哈顿距离等）方法中，在训练集中找出与当前样本xxx最近邻的kkk个点，然后在kkk中根据分类决策规则（多数表决）决定xxx的类别yyy。重点：1.k值选择；2.距离度量；3.分类决策规则。细节：1.k值的选择：一般取一个较小的数值，可以采用交叉验证法来选择最优k值。2.距离度量：欧式

要坚持写博客呀·2022-05-02 07:26

《统计学习方法》读书笔记——第三章 K近邻法

写在前面本系列博客是自己对于《统计学习方法》这本书的读书笔记，在读过每个章节以后根据自己的理解写下这一章的知识框架以及补充一些延伸知识点。

'Themis'·2022-05-02 07:23

《统计学习方法》第三章 k近邻法

k近邻法（KNN）是一种基本分类和回归方法。k近邻法的基本做法是：对给定的训练实例点和输入实例点，首先确定输入实例点的k个最近邻训练实例点，然后利用这k个训练实例点的类的多数来预测输入实例点的类。k近邻算法k近邻模型k近邻法使用的模型实际上对应于对特征空间的划分。模型由三个基本要素——距离度量，k值的选择，分类决策规则决定。当这三个基本要素确定后，对于任何一个新的输入实例，它所属的类唯一地确定。这

自信的小螺丝钉·2022-05-02 07:22

推荐频道

统计学习