统计学习方法

统计学习方法-6逻辑回归

文章目录逻辑斯蒂回归模型最大熵模型模型学习的最优化算法逻辑斯蒂回归模型逻辑斯蒂分布设X是连续随机变量，X服从逻辑斯蒂分布是指X具有下列分布函数和密度函数：F(x)=P(X≤x)=11+e−(x−μ)/γF(x)=P(X\leqx)=\frac{1}{1+e^{-(x-\mu)/\gamma}}F(x)=P(X≤x)=1+e−(x−μ)/γ1f(x)=F′(x)=e−(x−μ)/γγ(1+e−(x−
◝(⑅•ᴗ•⑅)◜..°♡·2023-01-01 08:20

LR逻辑斯回归分析（优缺点）

本文是在学习完李航老师的《统计学习方法》后，在网上又学习了几篇关于LR的博客，算是对LR各个基础方面的一个回顾和总结。一简述逻辑斯蒂回归是一种对数线性模型。
老司机的诗和远方·2023-01-01 00:14

推荐系统起步---0319

第一次使用博客，本博客只限于自己学习和查看自己的历史学习看着自己每天的进步也是非常好的一件事情现在在推荐系统领域还是属于小白阶段为了学习推荐系统已经买了书籍《推荐系统实战》《统计学习方法》《机器学习》原来想要学习的方向其实是数据挖掘
tsdly1·2022-12-30 11:30

统计学习方法 李航 课后习题答案 第二版 机器学习

李航《统计学习方法》课后习题答案（第2版）【李航课后习题解答+书中疑点推导+算法代码实现+可私聊耐心解答(48小时内回复)，包会！！】
#苦行僧·2022-12-30 10:01

机器学习算法--感知机

主要依据的算法流程是《统计学习方法》中关于感知机的算法过程，具体如下。
key_points·2022-12-29 21:43

机器学习与优化论专业读本

自2013年起间歇性读过以下专业读本，大部分内容已读过一遍，少量读过2-3遍，略以记录.1.统计学习方法（第一版、第二版李航著）2.机器学习（周志华）3.PRML（Pattern-Recognition-and-Machine-Learning
scott198510·2022-12-27 15:10

机器学习笔记之基础回归问题

前言本文参考了《机器学习》周志华著中的3.2节中的线性回归内容和《统计学习方法》李航著的6.1节中的逻辑回归内容，并结合逻辑回归两个实验进行总结。线性模型什么是线性模型呢？
达不溜溜球·2022-12-27 11:37

图解深度学习-神经网络

深度学习深度学习是一种统计学习方法，可以在大量数据中自动提取关键特征信息。深度学习的分类深度学习的起源有感知器和基于图模型的玻尔兹曼机。在这两个的基础上引入多层结构形成了现在的深度学习。
南妮儿·2022-12-27 06:56

机器学习之概率图模型

《统计学习方法》例10.2python代码1.2.2.状态序列预测问题算法1.2.2.1.直接暴力计算法1.2.2.2.Viterbi算法1.3
lankuohsing·2022-12-26 22:05

李航统计学习方法----感知机章节学习笔记以及python代码

目录1感知机模型2感知机学习策略2.1数据集的线性可分性2.2感知机学习策略3感知机学习算法3.1感知机学习算法的原始形式3.2感知机算法的对偶形式4感知机算法python代码感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值．感知机对应于输入空间（特征空间〉中将实例划分为正负两类的分离超平面，属于判别模型．感知机学习旨在求出将训练数
詹sir的BLOG·2022-12-26 12:09

机器学习笔记（十）-支持向量机（SVM）

本次学习笔记主要记录学习机器学习时的各种记录，包括吴恩达老师视频学习、李宏毅老师视频学习、周志华老师的《机器学习》（西瓜书）以及李航老师的《统计学习方法》。
997and·2022-12-26 09:45

统计学习方法超详细学习笔记-第五章 决策树

第五章决策树决策树(decisiontree)种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行
xingS1992·2022-12-26 04:20

机器学习之感知机模型

机器学习之感知机模型写在前面感知机模型的初步理解自我理解感知机模型建立对偶形式写在前面这部分主要是基于李航老师的《统计学习方法》以及参考部分博客完成，写出来让自己更好理解。
cug_humoumou·2022-12-24 17:39

【白话机器学习】算法理论+实战之K-Means聚类算法

常见的机器学习算法：监督学习算法：逻辑回归，线性回归，决策树，朴素贝叶斯，K近邻，支持向量机，集成算法Adaboost等无监督算法：聚类，降维，关联规则,PageRank等为了详细的理解这些原理，曾经看过西瓜书，统计学习方法
算法channel·2022-12-24 11:04

【机器学习】Adaboost、GBDT、XGBoost算法原理解析

GBDT和XGBoost《统计学习方法》与《机器学习》这两本书中都没有涉及，但是看别人在牛客网上的面经分享都有提到，其实这两个算法主要在竞赛中经常被用到，因此还是有必要了解一下。
秋天的波·2022-12-24 10:58

决策树与随机森林

2.生成（步骤和公式的话，《统计学习方法》讲的很清楚）决策树学习采用自顶向下的递归方法，以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的
JNYxiaocao·2022-12-24 08:59

SVM(6)——序列最小最优化算法(SMO)代码

一、代码根据李航统计学习方法第一版的公式进行编写，与sklearn的svm进行对比importnumpyasnpfromsklearnimportdatasetsfromsklearn.model_selectionimporttrain_test
嘻哈过路人·2022-12-23 13:12

人工智能算法（1）感知机原理及代码实现（C#）

统计学习方法|感知机原理剖析及实现对感知机的讲解很直观。例如有一堆零件，每个零件有重量、长度等。
长安山南君·2022-12-23 10:50

《西瓜书》学习笔记-目录

《机器学习》，即西瓜书是机器学习的入门书籍，也是比较完整的书，此笔记是通读西瓜书后，对于重要知识点进行总结和完善，对于一些公式进行了完整的推导后的学习笔记，同时也参考了李航老师的《统计学习方法》，还有很多其他老师的博客共同所得
ruoqi23·2022-12-23 10:00

机器学习 | 最大熵模型

2.3.3最大熵模型的表示2.3.4最大熵模型的学习3最大熵模型的应用场景4模型优缺点4.1优点4.2缺点参考1前言继续梳理李航老师《统计学习方法》的章节内容，今天我们一起来看一看啥叫最大熵模型？
写代码的阿呆·2022-12-22 16:09

周志华机器学习：决策树

决策树文章目录决策树参考基本流程划分选择信息增益决策树的生成——ID3，及其问题增益率决策树生成——C4.5，及其问题剪枝处理预剪枝和后剪枝统计学习方法中的剪枝CART算法（统计学习方法80）CART回归树
椰子奶糖·2022-12-21 21:13

李航统计学习方法-决策树

决策树决策树（decisiontree）是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分
JohnBanana·2022-12-21 17:06

(5) 李航《统计学习方法》基于Python实现——决策树

决策树模型决策树是一种基本的分类和回归方法，本文主要讨论用户分类的决策树。决策树模型呈现树桩结构，在分类问题中，它表示基于特征对实例进行分类的过程。它可以认为是if-then的规则的集合也可以认为是定义在特征空间与类空间上的条件概率分布。决策树学习通常包括3个步骤：特征选择，决策树的生成和决策树的修剪。优点：模型具有可读性，解释性较强，分类速度快，准确性高，可以处理连续和种类字段，不需要任何领域知
奥卡姆的剃刀·2022-12-21 17:06

NLP入门｜《统计学习方法》学习（五）｜决策树/剪枝/ID3&C4.5&CART算法

导读马上开启第五章决策树部分内容的学习，预计用时2-3天～声明：以下截图来自书本以及b站课程（up主：简博士）。一、决策树1.介绍分类决策树模型是一种描述对实例进行分类的树形结构。2.组成1）决策树由结点和有向边构成，结点又可以分为内部结点和叶结点。2）其中内部结点表示特征或者属性，而叶结点表示类别。最上端的内部结点也叫做根结点。3.If-Then规则1）决策树是通过一系列规则对数据进行分类的过程
尚小雨雨·2022-12-21 17:35

统计学习方法决策树

决策树（decisiontree）是一种基本的分类与回归方法。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分类。决策树学习通常包括3个步骤：特征
一枝韩独秀·2022-12-21 17:04

【统计学习方法】 决策树 CART生成算法 分类树 Python实现

前言代码可在Github上下载:代码下载Cart(Classificationandregressiontree)分类与回归树，是一种可以用来分类或者回归（属性可以是连续值，标签必须离散）的决策树（二叉树）。对回归树使用平方误差最小化准则，对分类树使用基尼系数最小化准则。该篇讲述的就是使用基尼系数来构造决策树。算法理论其实CART分类树的生成与决策树的非常类似，决策树ID3,C4.5生成，主要的不
火烫火烫的·2022-12-21 17:04

《统计学习方法》 决策树 ID3和C4.5 生成算法 Python实现

代码可在Github上下载:代码下载前言在博主刚接触编程的时候，曾经想过一个如何实现聊天机器人，当时最直接的想法是打算用if-else来做（事实上真用VB实现了一个简单的以自嗨）。而今天的决策树就是可以视为一种if-else的集合。而决策树的可以用来分类也可以用来完成回归任务。本部分介绍的决策树实现了ID3和C4.5算法。两者算法差别在于一个使用了信息增益一个使用了信息增益比。算法理论定义5.1（
火烫火烫的·2022-12-21 17:33

《统计学习方法》matlab计算决策树信息增益

function[empEnt]=expEnt(A)%计算列向量的经验熵empEnt=0;list=unique(A);l=length(list);fori=1:lLength=length(find(A==list(i)));p=Length/length(A);empEnt=empEnt-p*log2(p);endendfunction[ecEnt]=Ecent(A,B,emEnt)%计算经
、踏莎行·2022-12-21 17:33

统计学习方法 | 决策树

一.一棵有理想的树分类决策树模型是一种描述对实例进行分类的树形结构决策树是通过一系列规则对数据进行分类的过程步骤①构建根节点②选择最优特征，以此分割训练数据集③若子集被基本正确分类，构建叶结点，否则，继续选择新的最优特征④重复以上两步，直到所有训练数据子集被正确分类二.条件概率分布决策树：给定特征条件下类的P(X,Y)条件概率分布：特征空间的一个划分划分：单元或区域互不相交一条路径对应于划分中的一
奔跑的蜗牛君666·2022-12-21 17:02

【统计学习方法】决策树

一、前言决策树是一种基本的回归与分类算法，可以将决策树看作一个if−thenif-thenif−then规则的集合（e.g.内部结点处对特定条件进行判断，为True则访问左子树，反之访问右子树）或者是给定条件下的概率分布（e.g.将特征空间划分为互不相交的单元或者区域，并在每一个单元定义一个类的概率分布就构成一个条件概率分布），其模型呈现树形结构，决策树由结点和有向边组成，其中结点可进一步分为内部
jyyym·2022-12-21 17:02

【机器学习】白板公式推导-1-书籍&视频

【机器学习】白板公式推导-1-介绍书籍列表频率派-统计机器学习统计学习方法-李航ESL贝叶斯派-概率图模型模式识别与机器学习（PRML）-ChristopherM.BishopMLAPP其他机器学习（西瓜书
暖焱·2022-12-20 17:01

主成分分析（PCA）（principal component analysis）

参考deeplearningbook.org一书2.12Example:PrincipalComponentsAnalysis参考李航统计学习方法第16章主成分分析本文的目录如下：目录用到的知识点PCA
大豆木南·2022-12-20 15:36

统计学习方法 | 第1章 统计学习方法概论

第1章统计学习方法概论《统计学习方法》Python代码实现【转载自Github开源项目】https://github.com/fengdu78/lihang-code1．统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行分析与预测的一门学科
Dazza Lark·2022-12-20 09:28

统计学习方法概论

也是好久没更新了，前面项目基础开发的工作已经基本完结，但又给了我两个任务，一个是做一个QA系统，一个是做一个推荐系统，想想我是基本不会啊，于是只是学呗，网上找了一些资料，人家说先看李航老师的书，于是做个笔记。1统计学习统计学习的对象：（1）data：计算机及互联网上的各种数字、文字、图像、视频、音频数据以及它们的组合。（2）数据的基本假设是同类数据具有一定的统计规律性。统计学习的目的：用于对数据（
一枝韩独秀·2022-12-20 09:57

统计学习方法- 统计学习方法概论

统计学习以方法为中心，统计学习方法构建模型并应用模型进行预测与分析。统计学习是概率论、统计学、信息论、计算理论、最优化理论及计算
海伦•·2022-12-20 09:25

统计学习方法 | 感知机

感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型一.模型介绍和学习策略1.模型介绍2.几何含义3.学习策略数据集的线性可分性二.梯度下降法1.概念2.算法3.原理三.原始形式首先任意选取一个超平面，然后用梯度下降法不断极小化目标函数在这个过程中一次随机选取一个误分类点使其梯度下
奔跑的蜗牛君666·2022-12-20 09:23

统计学习方法 | K 近邻法

一.简介1.直观理解定义：是一种基本的分类与回归方法主要思想：假定给定一个训练数据集，其中实例标签已定，当输入新的实例时，可以根据其最近的K个训练实例的标签，预测新实例对应的标注信息分类问题：对新的实例，根据与之相邻的K个训练实例的类别，通过多数表决等方式进行预测回归问题：对新的实例，根据与之相邻的K个训练实例的标签，通过均值计算进行预测2.算法3.误差率二.三要素1.模型K近邻法不具有显性的学习
奔跑的蜗牛君666·2022-12-20 09:23

统计学习方法 | 朴素贝叶斯

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y朴素贝叶斯法实现简单，学习和预测的效率都很高，是一种常用的方法朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型一.贝叶斯定理贝叶斯思维：先验概率→调整因子→后验概率1.条件概率2.贝叶斯定理
奔跑的蜗牛君666·2022-12-20 09:23

统计学习方法 李航 课后习题答案 第二版 机器学习

李航《统计学习方法》课后习题答案（第2版）【李航课后习题解答+书中疑点推导+算法代码实现+可私聊耐心解答(48小时内回复)，包会！！】
#苦行僧·2022-12-20 09:50

统计学习方法 | 概论

一.简介统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科1.统计学习方法的步骤①得到一个有限的训练数据集合②确定学习模型的集合（模型）③确定模型选择的准则（策略）④实现求解最优模型的算法
奔跑的蜗牛君666·2022-12-20 09:49

隐马尔可夫模型 (hidden Markov model, HMM)

本文为《统计学习方法》的读书笔记目录隐马尔可夫模型的基本概念隐马尔可夫模型的定义观测序列的生成过程隐马尔可夫模型的3个基本问题概率计算算法直接计算法前向算法(forwardalgorithm)后向算法(
连理o·2022-12-20 07:38

数据挖掘系列（8）朴素贝叶斯分类算法原理与实践

一个简单的例子朴素贝叶斯算法是一个典型的统计学习方法，主要理论基础就是一个贝叶斯公式，贝叶斯公式的基本定义如下：这个公式虽然看上去简单，但它却能总结历史，预知未来。
youbo_sun·2022-12-19 23:39

机器学习——（1）

参考书籍机器学习，周志华，清华大学出版社，2016统计学习方法，李航，清华大学出版社，2012DeepLearning,I.Goodfellow,Y.BengioandA.Courville,2016课程推荐
Sky_177·2022-12-19 09:54

隐马尔可夫模型最详细讲解 HMM(Hidden Markov Model)

www.bilibili.com/video/BV1BW411P7gV悉尼科大徐亦达https://www.bilibili.com/video/BV1MW41167Rfshuhuai大神如果是喜欢看书的，请参考李航老师《统计学习方法
BruceJust·2022-12-18 16:19

机器学习-白板推导系列(十四)-隐马尔科夫(HMM，Hidden Markov Model)

频率派频率派的思想就衍生出了统计学习方法，统计学习方法的重点在于优化，找lossfunction。
Paul-Huang·2022-12-18 16:45

机器学习笔记-PCA(主成分分析）

参考资料（大量参考了第一个链接，里面讲的非常详细）：https://zhuanlan.zhihu.com/p/77151308统计学习方法（李航）https://zhuanlan.zhihu.com/p
Serendipity-Wu·2022-12-17 14:49

统计学习方法---感知机

《统计学习方法》系列笔记的第一篇，对应原著第二章。大量引用原著讲解，加入了自己的理解。对书中算法采用Python实现，并用Matplotlib可视化了动画出来。
千寻～·2022-12-17 08:04

《统计学习方法》学习笔记_感知机（手写扫描）

感知机Perceptron由Rosenblatt于1957年提出，可以说是神经网络与支持向量机的爸爸。感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求
全自动学习机器·2022-12-16 13:32

《集体智慧编程》读书笔记

书中涉及到一些机器学习相关的内容,在统计学习方法读书笔记和西瓜书读书笔记中有所记录,所以只简单带过.本书源代码下载地址书中使用的python技巧字典的setdefault(key,value)方法,作用是如果键不在字典中
weixin_30396699·2022-12-16 12:37

统计学习方法之kNN算法

统计学习方法读书笔记之kNN算法k近邻是什么k近邻法是机器学习中最基本的分类和回归方法，也称为kNN算法。通常k近邻法用于分类问题。k近邻法假定给定一个训练数据集，其中实例类别已定。
Morgan928·2022-12-16 08:20
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他