统计学习方法（李航）第8页

Python实现HMM的前向-后向算法和维特比算法

HMM的前向算法和维特比算法已将在上一个博客讲过了，这节给出python的实现，例子是以李航老师《统计学习方法》上的算法和例题进行实现。

Vincent-Yuan·2023-01-06 09:52

python实现李航第十章HMM算法的前向、后向、维特比算法

python实现李航第十章HMM算法的前向、后向、维特比算法前向算法后向算法维特比算法前向算法理论部分参考链接：前向算法问题：给出λ\lambdaλ,求P(O∣λ)P(O|\lambda)P(O∣λ)以下只给结论

倚剑笑紅尘·2023-01-06 08:47

python 实现 softmax分类器（MNIST数据集）

最近一直在外面，李航那本书没带在身上，所以那本书的算法实现估计要拖后了。

wds2006sdo·2023-01-05 13:29

python实现朴素贝叶斯

其中的主要公式参考的仍然是统计学习方法中的内容。并且使用贝叶斯估计参数，并且结果和书上的内容可以完全对应上，验证了过程的可靠性。

ZZZZ_ccc·2023-01-05 12:55

二项分布_贝塔分布（multivariate Beta distribution）_多项分布_狄利克雷分布（Dirichlet distribution）_贝叶斯理论公式浅述

二项分布_贝塔分布（multivariateBetadistribution）_多项分布_狄利克雷分布（Dirichletdistribution）_贝叶斯理论公式浅述参考书籍《统计学习方法》（李航）各分布之间的关系

PRINCESS HIGHNESS.·2023-01-05 11:13

统计学习方法chapter2

统计学习方法chapter2感知机模型1.概述感知机是二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别，取+1和-1两类值。

松阁~·2023-01-05 02:05

统计学习方法 EM算法的一个例子

参考《统计学习方法》第九章三硬币模型假设有3枚硬币，分别记作A,B,C.这些硬币正面出现的概率分别是π，p和q·进行如下掷硬币试验：先掷硬币A,根据其结果选出硬币B或硬币C,正面选硬币B,反面选硬币C:

陈嘟嘟cc·2023-01-04 09:26

自然语言处理第十章信息抽取复习

信息抽取信息抽取复习重点：信息抽取概述从任务内容分为：从处理文档类型分为：从发展时间和处理文档分为：实体识别与抽取限定域命名实体识别基于规则或字典的方法：规则模版（字典）+匹配统计学习方法：特征工程+算法

SiYuanFeng·2023-01-04 09:14

fisher信息矩阵_经典模式识别：Fisher线性判别

而一般基于统计学习方法难以求解高维数据，所以降维成了解决问题的突破口。对于高维空间样本，投影到一维坐标上，可能会出现样本特征混杂

weixin_40000702·2023-01-03 21:41

【补充知识】生成模型（generative model）和判别模型（discriminative model）、贝叶斯学派和概率学派

看到过好几次“生成模型”这个词了，一直不太懂，这次买了李航老师的《统计学习方法》看一下。

ViviranZ·2023-01-03 18:16

思维导图：统计学习方法

思维导图：统计学习方法附：文本结构统计学习方法基本概念统计学习的定义又叫统计机器学习基于数据构建概率统计模型，并运用模型进行预测和分析的一门学科主要特点建立在计算机和网络之上以数据为研究对象，是数据驱动的学科目的是对数据进行预测和分析以方法为中心

路飞的纯白世界·2023-01-03 09:21

机器学习笔记（六）-神经网络：概述

本次学习笔记主要记录学习机器学习时的各种记录，包括吴恩达老师视频学习、李宏毅老师视频学习、周志华老师的《机器学习》（西瓜书）以及李航老师的《统计学习方法》。

997and·2023-01-02 11:42

Boosting中Adaboost的通俗理解

今天知乎上被私信说我对Adaboost的通俗解释很好理解，那我就把当初的答案贴下来，做个记录吧，该理解没有任何数学公式要看数学公式的推荐每个做统计算法和机器学习的人都会看的：李航统计学习方法的Adaboost

RoadmanG·2023-01-02 09:14

统计学习方法-6逻辑回归

文章目录逻辑斯蒂回归模型最大熵模型模型学习的最优化算法逻辑斯蒂回归模型逻辑斯蒂分布设X是连续随机变量，X服从逻辑斯蒂分布是指X具有下列分布函数和密度函数：F(x)=P(X≤x)=11+e−(x−μ)/γF(x)=P(X\leqx)=\frac{1}{1+e^{-(x-\mu)/\gamma}}F(x)=P(X≤x)=1+e−(x−μ)/γ1f(x)=F′(x)=e−(x−μ)/γγ(1+e−(x−

◝(⑅•ᴗ•⑅)◜..°♡·2023-01-01 08:20

LR逻辑斯回归分析（优缺点）

本文是在学习完李航老师的《统计学习方法》后，在网上又学习了几篇关于LR的博客，算是对LR各个基础方面的一个回顾和总结。一简述逻辑斯蒂回归是一种对数线性模型。

老司机的诗和远方·2023-01-01 00:14

李航第一章机器学习与监督学习概论

1.5正则化数学原理及扩展为什么正则化能够解决过拟合的问题？为什么L1正则更具有稀疏性？答：【机器学习面试题】为什么正则化可以防止过拟合？为什么L1正则化具有稀疏性？_哔哩哔哩_bilibili1.6泛化能力常用泛化误差上界来表示泛化能力，公式是重点，可以等后面具体例子中结合一下理解1.7生成模型与判别模型直观理解：判别式模型关心边界，生成式模型关心数据本身特点简单实例：生成式模型估计的是联合概率

Lofty_goals·2022-12-31 12:40

李航老师对预训练语言模型发展的一些看法

作者|李航编译|李梅、黄楠编辑|陈彩娴从俄国数学家AndreyMarkov（安德烈·马尔可夫）提出著名的「马尔科夫链」以来，语言建模的研究已经有了100多年的历史。

zenRRan·2022-12-30 23:33

统计学习方法李航课后习题答案第二版机器学习

李航《统计学习方法》课后习题答案（第2版）【李航课后习题解答+书中疑点推导+算法代码实现+可私聊耐心解答(48小时内回复)，包会！！】

#苦行僧·2022-12-30 10:01

机器学习算法--感知机

主要依据的算法流程是《统计学习方法》中关于感知机的算法过程，具体如下。

key_points·2022-12-29 21:43

机器学习与优化论专业读本

自2013年起间歇性读过以下专业读本，大部分内容已读过一遍，少量读过2-3遍，略以记录.1.统计学习方法（第一版、第二版李航著）2.机器学习（周志华）3.PRML（Pattern-Recognition-and-Machine-Learning

scott198510·2022-12-27 15:10

第二次作业：深度学习基础

ekkoalex·2022-12-27 14:54

机器学习笔记之基础回归问题

前言本文参考了《机器学习》周志华著中的3.2节中的线性回归内容和《统计学习方法》李航著的6.1节中的逻辑回归内容，并结合逻辑回归两个实验进行总结。线性模型什么是线性模型呢？

达不溜溜球·2022-12-27 11:37

图解深度学习-神经网络

深度学习深度学习是一种统计学习方法，可以在大量数据中自动提取关键特征信息。深度学习的分类深度学习的起源有感知器和基于图模型的玻尔兹曼机。在这两个的基础上引入多层结构形成了现在的深度学习。

南妮儿·2022-12-27 06:56

机器学习之概率图模型

《统计学习方法》例10.2python代码1.2.2.状态序列预测问题算法1.2.2.1.直接暴力计算法1.2.2.2.Viterbi算法1.3

lankuohsing·2022-12-26 22:05

李航统计学习方法----感知机章节学习笔记以及python代码

目录1感知机模型2感知机学习策略2.1数据集的线性可分性2.2感知机学习策略3感知机学习算法3.1感知机学习算法的原始形式3.2感知机算法的对偶形式4感知机算法python代码感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值．感知机对应于输入空间（特征空间〉中将实例划分为正负两类的分离超平面，属于判别模型．感知机学习旨在求出将训练数

詹sir的BLOG·2022-12-26 12:09

机器学习笔记（十）-支持向量机（SVM）

本次学习笔记主要记录学习机器学习时的各种记录，包括吴恩达老师视频学习、李宏毅老师视频学习、周志华老师的《机器学习》（西瓜书）以及李航老师的《统计学习方法》。

997and·2022-12-26 09:45

统计学习方法超详细学习笔记-第五章决策树

第五章决策树决策树(decisiontree)种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行

xingS1992·2022-12-26 04:20

机器学习之感知机模型

机器学习之感知机模型写在前面感知机模型的初步理解自我理解感知机模型建立对偶形式写在前面这部分主要是基于李航老师的《统计学习方法》以及参考部分博客完成，写出来让自己更好理解。

cug_humoumou·2022-12-24 17:39

【白话机器学习】算法理论+实战之K-Means聚类算法

常见的机器学习算法：监督学习算法：逻辑回归，线性回归，决策树，朴素贝叶斯，K近邻，支持向量机，集成算法Adaboost等无监督算法：聚类，降维，关联规则,PageRank等为了详细的理解这些原理，曾经看过西瓜书，统计学习方法

算法channel·2022-12-24 11:04

【机器学习】Adaboost、GBDT、XGBoost算法原理解析

GBDT和XGBoost《统计学习方法》与《机器学习》这两本书中都没有涉及，但是看别人在牛客网上的面经分享都有提到，其实这两个算法主要在竞赛中经常被用到，因此还是有必要了解一下。

秋天的波·2022-12-24 10:58

决策树与随机森林

2.生成（步骤和公式的话，《统计学习方法》讲的很清楚）决策树学习采用自顶向下的递归方法，以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的

JNYxiaocao·2022-12-24 08:59

SVM(6)——序列最小最优化算法(SMO)代码

一、代码根据李航统计学习方法第一版的公式进行编写，与sklearn的svm进行对比importnumpyasnpfromsklearnimportdatasetsfromsklearn.model_selectionimporttrain_test

嘻哈过路人·2022-12-23 13:12

人工智能算法（1）感知机原理及代码实现（C#）

统计学习方法|感知机原理剖析及实现对感知机的讲解很直观。例如有一堆零件，每个零件有重量、长度等。

长安山南君·2022-12-23 10:50

《西瓜书》学习笔记-目录

《机器学习》，即西瓜书是机器学习的入门书籍，也是比较完整的书，此笔记是通读西瓜书后，对于重要知识点进行总结和完善，对于一些公式进行了完整的推导后的学习笔记，同时也参考了李航老师的《统计学习方法》，还有很多其他老师的博客共同所得

ruoqi23·2022-12-23 10:00

机器学习之最大熵模型

最大熵模型的详细推导（参考李航老师机器学习）1.最大熵的原理2.最大熵模型的定义3.最大熵模型的学习3.1转换为对偶问题4.最大熵模型的极大似然估计5.参考文献1.最大熵的原理最大熵的原理是概率模型学习的一个准则

qq_32067123·2022-12-22 16:40

机器学习 | 最大熵模型

2.3.3最大熵模型的表示2.3.4最大熵模型的学习3最大熵模型的应用场景4模型优缺点4.1优点4.2缺点参考1前言继续梳理李航老师《统计学习方法》的章节内容，今天我们一起来看一看啥叫最大熵模型？

写代码的阿呆·2022-12-22 16:09

周志华机器学习：决策树

决策树文章目录决策树参考基本流程划分选择信息增益决策树的生成——ID3，及其问题增益率决策树生成——C4.5，及其问题剪枝处理预剪枝和后剪枝统计学习方法中的剪枝CART算法（统计学习方法80）CART回归树

椰子奶糖·2022-12-21 21:13

边缘云服务提供商[网心科技]，加入深圳市软件行业协会“理事单位”

日前，深圳市软件行业协会（以下简称：软协）名誉会长邓爱国、副秘书长肖庆新、李航等到访网心科技，并现场授予“理事单位”牌匾。迅雷集团高级副总裁马婷代表网心科技热情接待了软协一行。

网心科技·2022-12-21 17:15

李航统计学习方法-决策树

决策树决策树（decisiontree）是一种基本的分类与回归方法。本章主要讨论用于分类的决策树。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分

JohnBanana·2022-12-21 17:06

(5) 李航《统计学习方法》基于Python实现——决策树

决策树模型决策树是一种基本的分类和回归方法，本文主要讨论用户分类的决策树。决策树模型呈现树桩结构，在分类问题中，它表示基于特征对实例进行分类的过程。它可以认为是if-then的规则的集合也可以认为是定义在特征空间与类空间上的条件概率分布。决策树学习通常包括3个步骤：特征选择，决策树的生成和决策树的修剪。优点：模型具有可读性，解释性较强，分类速度快，准确性高，可以处理连续和种类字段，不需要任何领域知

奥卡姆的剃刀·2022-12-21 17:06

NLP入门｜《统计学习方法》学习（五）｜决策树/剪枝/ID3&C4.5&CART算法

导读马上开启第五章决策树部分内容的学习，预计用时2-3天～声明：以下截图来自书本以及b站课程（up主：简博士）。一、决策树1.介绍分类决策树模型是一种描述对实例进行分类的树形结构。2.组成1）决策树由结点和有向边构成，结点又可以分为内部结点和叶结点。2）其中内部结点表示特征或者属性，而叶结点表示类别。最上端的内部结点也叫做根结点。3.If-Then规则1）决策树是通过一系列规则对数据进行分类的过程

尚小雨雨·2022-12-21 17:35

统计学习方法决策树

决策树（decisiontree）是一种基本的分类与回归方法。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分类。决策树学习通常包括3个步骤：特征

一枝韩独秀·2022-12-21 17:04

【统计学习方法】决策树 CART生成算法分类树 Python实现

前言代码可在Github上下载:代码下载Cart(Classificationandregressiontree)分类与回归树，是一种可以用来分类或者回归（属性可以是连续值，标签必须离散）的决策树（二叉树）。对回归树使用平方误差最小化准则，对分类树使用基尼系数最小化准则。该篇讲述的就是使用基尼系数来构造决策树。算法理论其实CART分类树的生成与决策树的非常类似，决策树ID3,C4.5生成，主要的不

火烫火烫的·2022-12-21 17:04

《统计学习方法》决策树 ID3和C4.5 生成算法 Python实现

代码可在Github上下载:代码下载前言在博主刚接触编程的时候，曾经想过一个如何实现聊天机器人，当时最直接的想法是打算用if-else来做（事实上真用VB实现了一个简单的以自嗨）。而今天的决策树就是可以视为一种if-else的集合。而决策树的可以用来分类也可以用来完成回归任务。本部分介绍的决策树实现了ID3和C4.5算法。两者算法差别在于一个使用了信息增益一个使用了信息增益比。算法理论定义5.1（

火烫火烫的·2022-12-21 17:33

《统计学习方法》matlab计算决策树信息增益

function[empEnt]=expEnt(A)%计算列向量的经验熵empEnt=0;list=unique(A);l=length(list);fori=1:lLength=length(find(A==list(i)));p=Length/length(A);empEnt=empEnt-p*log2(p);endendfunction[ecEnt]=Ecent(A,B,emEnt)%计算经

、踏莎行·2022-12-21 17:33

统计学习方法 | 决策树

一.一棵有理想的树分类决策树模型是一种描述对实例进行分类的树形结构决策树是通过一系列规则对数据进行分类的过程步骤①构建根节点②选择最优特征，以此分割训练数据集③若子集被基本正确分类，构建叶结点，否则，继续选择新的最优特征④重复以上两步，直到所有训练数据子集被正确分类二.条件概率分布决策树：给定特征条件下类的P(X,Y)条件概率分布：特征空间的一个划分划分：单元或区域互不相交一条路径对应于划分中的一

奔跑的蜗牛君666·2022-12-21 17:02

【统计学习方法】决策树

一、前言决策树是一种基本的回归与分类算法，可以将决策树看作一个if−thenif-thenif−then规则的集合（e.g.内部结点处对特定条件进行判断，为True则访问左子树，反之访问右子树）或者是给定条件下的概率分布（e.g.将特征空间划分为互不相交的单元或者区域，并在每一个单元定义一个类的概率分布就构成一个条件概率分布），其模型呈现树形结构，决策树由结点和有向边组成，其中结点可进一步分为内部

jyyym·2022-12-21 17:02

【机器学习】白板公式推导-1-书籍&视频

【机器学习】白板公式推导-1-介绍书籍列表频率派-统计机器学习统计学习方法-李航ESL贝叶斯派-概率图模型模式识别与机器学习（PRML）-ChristopherM.BishopMLAPP其他机器学习（西瓜书

暖焱·2022-12-20 17:01

主成分分析（PCA）（principal component analysis）

参考deeplearningbook.org一书2.12Example:PrincipalComponentsAnalysis参考李航统计学习方法第16章主成分分析本文的目录如下：目录用到的知识点PCA

大豆木南·2022-12-20 15:36

推荐频道

统计学习方法（李航）