李航统计学习方法

《统计学习方法》的读书笔记

文章提纲全书总评C01.统计学习方法概论统计学习统计学习导言统计学习的对象统计学习的目的统计学习的方法统计学习的研究统计学习的重要性监督学习基本概念问题的形式化描述统计学习三个要素模型策略算法模型的评估与选择模型评估模型选择正则化与交叉验证正则化交叉验证泛化能力泛化误差泛化误差的上界生成模型与判别模型分类问题标注问题回归问题
zYx.Tom·2019-09-17 09:00

感知器基础原理及python实现

简单版本，按照李航的《统计学习方法》的思路编写数据采用了著名的sklearn自带的iries数据，最优化求解采用了SGD算法。预处理增加了标准化操作。'''
沙克的世界·2019-09-14 18:00

统计学习方法学习笔记

第1章统计学习方法概论期望风险是模型关于联合分布的期望损失，经验风险是模型关于训练样本集的平均损失。根据大数定律，当样本容量N趋于无穷时，经验风险趋于期望风险。经验风险最小化等价于极大似然估计。
lennonmwy·2019-09-06 14:02

机器学习基础回顾

序言----为了巩固一下之前的知识，最近重温了下西瓜书和统计学习方法，所以顺带写篇博客。一、什么是机器学习，即机器学习的定义。
蒹葭杰克·2019-09-05 00:53

二、神经网络的结构

本篇博客主要内容参考图书《神经网络与深度学习》，李航博士的《统计学习方法》NationalTaiwanUniversity(NTU)李宏毅老师的《MachineLearning》的课程，在下文中如果不正确的地方请积极指出
独孤呆博·2019-09-03 23:54

隐马尔可夫模型 HMM 的python实现（李航—统计学习方法）

文章目录1、代码2、运行结果3、参考文献借助此代码，帮助自己理解李航《统计学习方法》书本的公式。
irober·2019-09-03 18:43

Outline

www.cnblogs.com/chaojunwang-ml/p/11190403.html3.反向传播https://www.cnblogs.com/chaojunwang-ml/p/11196323.html统计学习方法
王朝君BITer·2019-09-03 17:00

《统计学习方法》笔记（未完结）

主要以李航老师的《统计学习方法》为主，同时用周志华老师的《机器学习》为补充。
hlk_1135·2019-08-29 11:57

字节跳动李航：自学机器学习，研究AI三十载，他说AI发展或进入平缓期

先后在NEC公司中央研究所、微软亚洲研究院、华为诺亚方舟实验室从事和领导AI技术研发，现任字节跳动人工智能实验室总监的李航，就是一
AI科技大本营·2019-08-25 00:00

《统计学习方法》极简笔记P5：决策树公式推导

决策树学习通过训练数据集为输入实例为类标记学习目标：对实例进行正确分类特征选择熵条件熵信息增益的算法输入：特征A，训练集D输出：特征A对训练集D的信息增益(1)计算训练集D的经验熵(2)计算特征A对训练集D的经验条件熵(3)计算信息增益信息增益比的算法其中决策树剪枝树T的叶结点个数为|T|，t是树T的叶结点，该叶结点有个样本点，其中k类的样本点有个，为叶结点t上的经验熵，则决策树学习的损失函数其中
统计学家·2019-08-19 13:51

《统计学习方法》极简笔记P2：感知机数学推导

感知机模型输入空间是$\chi\subseteq\mathbb{R}^n$,输出空间是$y={+1,-1}$感知机定义为：$f(x)=sign(wx+b)$感知机学习策略输入空间任一点$x_0$到超平面S的距离：$\frac{1}{||w||}|wx_0+b|$误分类数据$(x_i,y_i)$,有$-y_i(wx_i+b)>0$误分类点$x_i$到超平面S的距离$-\frac{1}{||w||}y
jpld·2019-08-18 15:00

《统计学习方法》极简笔记P4：朴素贝叶斯公式推导

《统计学习方法》极简笔记P4：朴素贝叶斯公式推导朴素贝叶斯基本方法通过训练数据集T={(x_1,y_1),(x_2,y_2),(x_N,y_N)...,(x_1,y_1)}学习联合概率分布P(X,Y)，
jpld·2019-08-16 18:00

机器学习之决策树算法（五）ID3、C4.5、CART树等构建过程的思想及剪枝操作

李航《统计学习方法》中的决策树介绍决策树(decisiontree)是一种基本的分类与回归方法。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。
繁华三千东流水·2019-08-15 09:08

python的svd分解

今天看书，发现svd公式，在网上查阅了一下资料，主要用到如下的两句：主要是两条语句：fromnumpyimport*;U,Sigma,VT=linalg.svd([[1,1],[7,7]]);用到的实例（李航
songfeng163·2019-08-13 08:12

《统计学习方法》-第一章（1）

统计学习也称之为统计机器学习统计学习的主要特点是：统计学习以计算机及网络为平台，是建立在计算机及网络之上的统计学习以数据为研究对象，是数据驱动的学科统计学习的目的是对数据进行预测和分析统计学习以方法为中心，统计学习方法构建模型进行预测和分析统计学习是以概率论
皮皮大·2019-08-13 00:20

统计学习方法-李航 第四章 朴素贝叶斯法

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。训练的时候，学习输入输出的联合概率分布；分类的时候，利用贝叶斯定理计算后验概率最大的输出。朴素贝叶斯法的学习与分类而条件概率分布条件概率分布参数数量是指数级的，也就是X和Y的组合很多，假设xj可能取值Sj个，Y可能取值有K个，那么参数的个数是参数个数特别地，取xj=S，那么参数个数为KSn，当维数n很大的时候，就会发生维数灾难。维数灾难一维
Little Programmer·2019-08-12 16:32

统计学习方法—SVM推导

目录SVM1.定义1.1函数间隔和几何间隔1.2间隔最大化2.线性可分SVM2.1对偶问题2.2序列最小最优算法（SMO）3.线性不可分SVM3.1松弛变量3.2求解对偶问题3.3支持向量求解参数\(w,b\)4.非线性SVM5.Reference:SVM  支持向量机是一种二分类模型，它以间隔最大作为优化目标，因此它比感知机仅仅以误分类推动的模型要优胜不少。数据线性可分时，SVM直接以间隔最大训
breezezz·2019-08-11 17:00

机器学习（AI）工程师面试--复习要点

这次复习重新读了西瓜书，好好研究了一下《统计学习方法》的第二版，然后把《百面机器学习》翻了一大半，外加上以前写的一些博客，知乎的一些收藏，总结了16页纸，现把要点罗列出来，供大家准备面试的时候参考一下。
chinwuforwork·2019-08-11 12:00

《李宏毅机器学习完整笔记》发布，Datawhale开源项目LeeML-Notes

其实也不尽然，中文还是有一些不错的学习资料的，像周志华老师的西瓜书，李航老师的统计学习方法等等都是相当经典的学习资料。今天的主角LeeML-Notes也是和
飞龙·2019-08-07 00:00

《李宏毅机器学习完整笔记》发布，Datawhale开源项目LeeML-Notes

其实也不尽然，中文还是有一些不错的学习资料的，像周志华老师的西瓜书，李航老师的统计学习方法等等都是相当经典的学习资料。今天的主角LeeML-Notes也是和
Datawhale·2019-08-06 09:00

《统计学习方法》代码更新了-（github的star数5300+）

李航老师的《统计学习方法》可以说是机器学习的入门宝典，许多机器学习培训班、互联网企业的面试、笔试题目，很多都参考这本书。2019年5月1日，《统计学习方法第二版》出版了！
湾区人工智能·2019-08-05 19:00

机器学习读书笔记之集成学习

本次集成学习读书笔记的参考资料除了西瓜书、ISL、统计学习方法外，还加入了Python机器学习（塞巴斯蒂安），里面对adaboost的起源和原始版本作了介绍，并且用简单例子展示了adaboost的工作原理
omelete·2019-08-05 00:15

统计学习方法6—logistic回归和最大熵模型

目录logistic回归和最大熵模型1.logistic回归模型1.1logistic分布1.2二项logistic回归模型1.3模型参数估计2.最大熵模型2.1最大熵原理2.2最大熵模型2.3最大熵模型的学习3.极大似然估计4.最大熵与logistic回归的关系5.总结6.Referencelogistic回归和最大熵模型1.logistic回归模型  logistic回归是一种广义线性回归（g
breezezz·2019-08-01 18:00

统计学习方法11—条件随机场

序  为了不学迷糊，条件随机场这儿应该理一理它与其他概率图模型的关系和区别。上一文讲的隐马尔可夫模型（HMM）是经典的有向图模型，同时也是一个生成模型，通过对\(P(Y,X)\)建模得到。HMM有两个重要假设，通过上文的推导过程也能体会到，这两个假设大大简化了计算过程。但是实际应用中，这两个假设往往不是很合理，后面出现了最大熵马尔可夫模型（MEMM），它消除观测独立的假设，本文要讲的条件随机场则消
breezezz·2019-07-31 16:00

【统计学习方法】朴素贝叶斯法

1.基础知识1.1条件概率一个事件概率依赖于另外一个事件(已发生)的度量。\(P(B|A)\)的意义是在A发生的情况下B事件发生的概率。这就是条件概率。\(P(AB)=P(A)\timesP(B|A)\)代表的意义是，AB事件同时发生的概率等于事件A发生的概率乘以在A发生条件下B事件发生的概率。\[P(B|A)=\frac{P(AB)}{P(A)}\]事件序列发生且彼此相互依赖，所以才有条件概率，
pprp·2019-07-26 15:00

熵、相对熵、互信息、交叉熵

西瓜书、花书第二部分以及李航的《统计学习方法》已经大概翻看了一遍，感觉算是有了一定的机器学习理论基础。
单调不减·2019-07-25 12:26

8.李航机器学习-AdaBoost梯度提升算法python实现

AdaBoost梯度提升算法项目链接：https://github.com/Wchenguang/gglearn/blob/master/AdaBoost/李航机器学习讲解/AdaBoost.ipynb
Mr_W1997·2019-07-25 11:58

人工智能书单

》:16《终极算法：机器学习和人工智能如何重塑世界》:12《科学+遇见人工智能》:12《深度学习》:12《统计思维：程序员数学之概率统计》:12《智能的本质》:12《Python自然语言处理》:11《统计学习方法
KangHuasen·2019-07-21 15:26

人工智能书单

》:16《终极算法：机器学习和人工智能如何重塑世界》:12《科学+遇见人工智能》:12《深度学习》:12《统计思维：程序员数学之概率统计》:12《智能的本质》:12《Python自然语言处理》:11《统计学习方法
Hubhub·2019-07-21 12:05

今天群里喜事连连，好热闹（61）

最后是桂师姐积极推荐我们去关注的手账初群今天的话题女神李航，爬楼看完之后，我也很震惊。这么优秀的女
志郁·2019-07-18 00:31

李航《统计学习方法》Python 代码更新，适应第二版！

点击上方“AI有道”，选择“星标”公众号重磅干货，第一时间送达李航的《统计学习方法》可以说是机器学习的入门宝典，许多机器学习培训班、互联网企业的面试、笔试题目，很多都参考这本书。
spearhead_cai·2019-07-16 08:00

统计学习方法10—隐马尔可夫模型推导

  隐马尔可夫模型（HMM）是一种标注模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。其在语音识别，自然语言处理，模式识别等领域有着广泛的应用。####1.基本概念  友好起见，我们以例子来导出马尔可夫的定义盒子与球模型  设有4个盒子，每个盒子里装有红白两种颜色的球。该模型抽取过程定义如下：先等概率选择一个盒子，从中抽取一次得到一个观测结果，然后换盒子，并且换盒子的过程中服从一
breezezz·2019-07-13 15:00

机器学习教程 之 EM算法 ：高斯混合模型聚类算法 (python基于《统计学习方法》实现，附数据集和代码)

之前写过一篇博客讲述极大似然方法，这一方法通常适用于知道观测数据YYY，求解模型参数θ\thetaθ的场合，即P(Y∣θ)P(Y|\theta)P(Y∣θ)。但是，在更多场合除了模型参数是未知的外，还有隐变量ZZZ也是未知的，即P(Y,Z∣θ)P(Y,Z|\theta)P(Y,Z∣θ)。多个隐藏模型的混合，会使得普通的极大似然方法用起来不是那么方便，比如求解高斯混合模型(GMM),隐马尔可夫模型(
Liangjun_Feng·2019-07-12 00:00

CRF++

所以在李航的统计学习方法中，特征函数的形式是：t(yi-
bobobe·2019-07-10 23:39

5.李航机器学习-决策树python实现

项目链接：https://github.com/Wchenguang/gglearn/blob/master/DecisionTree/李航机器学习讲解/DecisionTree.ipynb'''特征选择算法
Mr_W1997·2019-07-10 16:50

统计学习方法9—EM算法

title:EM算法date:2019-07-2514:12:12tags:[机器学习,EM算法]categories:机器学习  EM算法是一种迭代算法，是一种用于计算包含隐变量概率模型的最大似然估计方法，或极大后验概率。EM即expectationmaximization，期望最大化算法。1.极大似然估计  在概率模型中，若已知事件服从的分布或者其他概率模型的参数，那么我们可以通过计算得到某事
isstack·2019-07-09 20:19

统计学习方法9—EM算法

  EM算法是一种迭代算法，是一种用于计算包含隐变量概率模型的最大似然估计方法，或极大后验概率。EM即expectationmaximization，期望最大化算法。1.极大似然估计  在概率模型中，若已知事件服从的分布或者其他概率模型的参数，那么我们可以通过计算得到某事件发生的概率。而在估计中，这些变成了方向过程：已知一组数据发生的结果，相当于获得了经验概率，通过这组数据假设模型服从什么分布，再
breezezz·2019-07-09 20:00

统计学习方法（2）——感知机

感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别｛-1,1｝，是一种判别模型。感知机学习的目的在于求出将训练数据进行划分的超平面。感知机模型输入空间\(X\epsilonR^{n}\),输出空间\(\gamma=\left\{-1,1\right\}\)。\[f(x)=sign(w\cdotx+b)\]\(x\)为输入向量，其中，\(w\)和\(b\)为感知机模型参数，\(
breezezz·2019-07-08 14:00

统计学习方法-李航 第三章 K近邻法

简介K近邻算法（KNN）是一种基本分类与回归方法，指从一个训练数据集中，找到相近的K个点，这K个实例多数属于某个类，就把输入实例分为这个类。特殊情况，当K=1时，称为最近邻算法。模型模型有3个要素距离度量方法k值的选择分类决策规则当3要素确定的时候，对任何实例（训练或输入），它所属的类都是确定的，相当于将特征空间分为一些子空间。距离度量方法当p=1时，为曼哈顿距离：(X1，Y1)和(X2，Y2)的
Little Programmer·2019-07-08 14:20

《统计学习方法(第二版)》学习笔记 第七章 支持向量机

文章目录第七章支持向量机1.基本概念2.超平面和点到超平面的距离2.1超平面的函数表示2.2点到超平面的距离3.函数间隔和几何间隔3.1函数间隔3.2几何间隔4.线性可分支持向量机4.1硬间隔最大化4.2学习的对偶算法4.3求解对偶问题5.线性支持向量机和软间隔最大化6.非线性支持向量机第七章支持向量机1.基本概念支持向量机(supportvectormachines,SVM)是一种二分类模型，它
忆殇DR·2019-07-08 11:32

5.决策树特征重要性判别算法python实现

特征重要性算法项目链接：https://github.com/Wchenguang/gglearn/blob/master/DecisionTree/李航机器学习讲解/FeatureImportance.ipynb
Mr_W1997·2019-07-07 11:18

统计学习方法-第9章-EM算法

2019July04EM算法统计学习方法-第9章-EM算法EM算法精髓EM算法是通过不断求解下界得极大化逼近对数似然函数极大化得算法。
chiemon·2019-07-04 13:28

《统计学习方法》各章节代码实现与课后习题参考解答

《统计学习方法》各章节代码实现与课后习题参考解答章节代码课后习题第1章统计学习方法概论(LeastSquaresMethod)传送门传送门第2章感知机(Perceptron)传送门传送门第3章k近邻法(
breeze_blows·2019-07-03 08:20

朴素贝叶斯法的参数估计——极大似然估计及其Python实现

统计学习方法——朴素贝叶斯法原理1.朴素贝叶斯法的极大似然估计2.朴素贝叶斯极大似然学习及分类算法算法过程：2.Python实现defpriorProbability(labelList):#计算先验概率
乖乖的函数·2019-07-03 00:00

朴素贝叶斯法的参数估计——贝叶斯估计及其Python实现

统计学习方法——朴素贝叶斯法原理1.贝叶斯估计1.1为什么要用贝叶斯估计（极大似然的缺点）1.2贝叶斯估计原理贝叶斯估计的算法过程合极大似然估计的算法过程一模一样，代码也几乎一模一样，只是加了一个λ。
乖乖的函数·2019-07-03 00:00

统计学习方法——朴素贝叶斯法原理

1.朴素贝叶斯贝叶斯是因为使用了贝叶斯定理，朴素是因为特征条件对立性的假设。朴素贝叶斯因此得名。2.模型2.1联合概率分布2.2学习联合概率分布的目的朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y)。学习联合概率分布P(X,Y)分布的目的，是为了得到先验概率和条件概率分布。（贝叶斯定理所需要的条件）2.3条件独立性假设条件概率分布和先验概率分布我们都可以利用训练数据集将其估计出来。3.朴素贝
乖乖的函数·2019-07-03 00:00

高斯混合模型深入理解

https://blog.csdn.net/njustzj001/article/details/50889023首先给出GMM的定义这里引用李航老师《统计学习方法》上的定义，
Destiny_zz·2019-07-01 16:05

统计学习方法-李航 第二章 感知机

《统计学习方法》第一篇博文，对应原著第二章，感知机，通过对原著的理解，在加上自己的推导，后面有时间再加上代码的实现。
Little Programmer·2019-07-01 09:34

Machine Learning学习---感知机算法实现

前言：MachineLearning用来记录机器学习常用几种算法的学习过程，理论知识部分基本摘抄至李航大神的统计学习方法。每个算法会有自己的源码实现。优缺点总结，适用场景（后续补充）。
朔方_·2019-06-28 20:59

统计学习方法学习笔记9——隐马尔科夫模型（HMM原理推导分析与分词项目实践）

目录1.简介2.概率计算方法2.1、模型参数的介绍2.1.1、初始概率2.1.2、状态转移矩阵2.1.3、观测概率矩阵2.2、前向-后向算法2.2.1、前向算法2.2.2、后向算法2.2.3、前向算法与后向算法的关系3、HMM的训练/学习问题3.1、Baum-Welch算法3.2、Baum-Welch算法伪代码4、预测问题：Viterbi算法——动态规划思想5.实践部分——HMM对中文进行分词5.
ChaucerG·2019-06-28 16:32
上一页 41 42 43 44 45 46 47 48 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他