统计学习方法

李航老师《统计学习方法》的代码实现、课件、作业等相关资源的最全汇总

编辑|Will出品|字节AI李航：毕业于日本京都大学电气电子工程系，日本东京大学获得计算机科学博士学位。1990年至2001年就职于日本NEC公司中央研究所，任研究员，2001年至2012年就职于微软亚洲研究院，任高级研究员与主任研究员。2012年至2017年就职于华为技术有限公司诺亚方舟实验室，任首席科学家、主任。现任字节跳动科技有限公司人工智能实验室总监，北京大学、南京大学客座教授，IEEE会
风度78·2020-08-11 03:52

逻辑斯蒂回归3 -- 最大熵模型之改进的迭代尺度法(IIS)

声明：1，本篇为个人对《2012.李航.统计学习方法.pdf》的学习总结，不得用作商用，欢迎转载，但请注明出处（即：本帖地址）。
血影雪梦·2020-08-10 11:52

统计学习方法笔记——感知机

简介感知机模型感知机学习策略数据集的线性可分性感知机学习策略感知机学习算法感知机学习算法的原始形式算法的收敛性感知机学习算法的对偶形式总结简介感知机（perceptron）是二类分类的线性分类模型，输入为特征向量，输出为+1和-1二值。感知机学习旨在求出将训练数据进行线性划分的分离超平面，属于判别模型。通过导入基于误分类的损失函数，利用梯度下降对损失函数进行极小化，求得感知机模型。感知机学习算法分
朱红的泪·2020-08-10 01:56

统计学习方法笔记——k近邻算法

简介k近邻算法k近邻模型模型距离度量k值的选择分类决策规则k近邻算法的实现：kd树构造kd树搜索kd树简介k近邻法是一种基本分类与回归方法。k近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决方式预测。因此，不具有显示的学习过程。k值的选择、距离度量、分类决策规则是k近邻法的三个基本要素。于1968年由Cover和Hart提出。k近
朱红的泪·2020-08-10 01:56

统计学习方法笔记——朴素贝叶斯法

简介朴素贝叶斯法的学习与分类基本方法后验概率最大化含义朴素贝叶斯法的参数估计极大似然估计学习与分类算法朴素贝叶斯算法(naiveBayesalgorithm)贝叶斯估计小结简介朴素贝叶斯(naiveBayes)法师基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型，对于给定的输入x，利用贝叶斯定理求出后验概率最大的输
朱红的泪·2020-08-10 01:24

序列标注：Bi-LSTM + CRF

CRF相关资料推荐关于crf，我看了很多资料，这里推荐几个-英文的crftutorial-李航的统计学习方法这两个讲的很细，公式很多，很多新入坑的小白看了肯定一头雾水,这里推荐一个知乎大神的回答，通俗易懂
taoqick·2020-08-10 01:12

隐马尔可夫模型hidden Markov model

本文是《统计学习方法》李航著学习笔记。为了叙述方便，将hiddenMarkovmodel简称HMM。
Young_win·2020-08-09 20:59

斯坦福机器学习： 网易公开课系列笔记（一）——课程简介

作为一个刚入门的学习者，可以说吴恩达讲的通俗易懂，之前我是一直在看《统计学习方法》和《机器学习》两本书，上面的一些公式看的比较懵，但是听完这门课后觉得豁然开朗。
NirHeavenX·2020-08-09 17:07

经验条件熵公式的推导

李航《统计学习方法》中，P62页公式5.8：计算特征A对数据集D的经验条件熵:此处，给出条件熵（）的定义:X给定条件下Y的条件概率分布的熵对X的数学期望：在书中P61页下方给出了各类的定义：设训练数据集为
Yokate·2020-08-09 03:32

《机器学习实战》（五）---支持向量机

我这一章的东西绝大部分都是来自up和《统计学习方法》的内容。支持向量机又称SVM，也是一种分类算法，它和上一章的
really_not_Yanzu·2020-08-08 20:08

机器学习读书笔记之贝叶斯分类

这篇读书笔记之所以拖了很久还是因为对概率和统计的知识不够熟悉，考研的时候考的数学二，不考概率论，就只复习了高数和线代，所以用了很多时间去补上概率统计的知识，资料包括统计学习方法、ISL和一些CSDN上的博客
omelete·2020-08-08 19:44

自己写一个最简单的bootloader_jz2440

此外目前我在gitHub上准备一些李航的《统计学习方法》的实现算法，目标将书内算法全部手打实现，欢迎参观并打星。
Dod_o_·2020-08-08 17:14

梯度下降方法

这几天在看《统计学习方法》这本书，发现梯度下降法在感知机等机器学习算法中有很重要的应用，所以就特别查了些资料。
lotus___·2020-08-08 17:31

决策树剪枝(cart剪枝)的原理介绍

最近看《统计学习方法》，最后有一部分讲到cart树的剪枝策略，个人觉得书上讲得比较晦涩难懂，现在结合个人理解和大家分享下，如有不正，敬请谅解！
zhengzhenxian·2020-08-07 22:08

资料整理（备用）

个人网页文章目录前言Python《利用Python进行数据分析·第2版》《Python机器学习及实践从零开始通往Kaggle竞赛之路》机器学习/深度学习《机器学习》周志华《统计学习方法》李航《深度学习》
橘子2048·2020-08-07 18:18

对损失函数以及参数w的梯度下降公式的推导

根据《统计学习方法》第6章中6.1节介绍，下面对损失函数以及参数www的梯度下降公式的推导：SigmoidSigmoidSigmoid函数为：g(z)=11+e−zg(z)=\frac{1}{1+e^{
枸杞叶儿·2020-08-07 17:36

感知机原理剖析笔记（如何理解感知机）——《统计学习方法》 李航

文章目录感知机感知机模型感知机学习策略感知机学习算法原始形式对偶形式感知机感知机(perceptron)是二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间（特征空间）中将实例分为正负两类的分离超平面。属于判别模型。感知机的学习训练过程旨在寻找一个超平面，能够将实例进行线性划分，为此，我们要导入误分类的损失函数，利用随机梯度下降法对损失函数进行最小
野犬1998·2020-08-07 17:47

决策树

http://www.hankcs.com/ml/decision-tree.html本文对应《统计学习方法》第5章，用Python实现了决策树的ID3生成算法和C4.5生成算法，并用matplotlib
lostinai·2020-08-07 15:13

机器学习之决策树原理及其python实现

决策树的定义2.决策树我的理解特征选择信息增益信息增益比算法实现ID3算法C4.5算法CART决策树三种算法的对比写在前面这是我开始入坑的第一篇博客，全部内容基于我的理解和参考博客，参考书籍为李航的《统计学习方法
cug_humoumou·2020-08-07 13:25

机器学习之决策树(Decision Tree)①——基本概念及思想

李航《统计学习方法》中的介绍如何创建一颗决策树?特征选择启发式学习启发式构建决策树过程贪心指标与建树方法信息增益与决策树算法启发式学习的两个问题决策树的剪枝决策树模型优缺点参考什么是决策树?
门前大橋下丶·2020-08-07 11:17

统计学习笔记：感知机（perceptron）原理及C源码实现

相对来说感知机从原理或实现来说都较为简单，按照李航《统计学习方法》就可以实现，根据神经网络中的技巧，可对感知机进行优化，例如采用附加动量法进行权值、偏置的更新，防止训练陷入局部最小，关于这些我会在神经网络以及深度学习的内容中讲述
_Morris_·2020-08-06 10:45

秋招面试准备——机器学习面经

统计学习方法部分：推导LR画LSTM的图、画CNN的图介绍CNN过拟合得解决方法方差偏差分解的公式一道贝叶斯公式的概率题逻辑回归和svm。
秋男不吃牛肉豆制品牛奶小麦·2020-08-05 11:09

logistic回归和最大熵

回顾发现，李航的《统计学习方法》有些章节还没看完，为了记录，特意再水一文。
仙守·2020-08-05 08:20

SVM数学基础的学习

今天，使用《统计学习方法》来简单学习一下SVM的数学基础，为了编写第一个行人识别的程序做基础1、超平面是什么？
is_jianglq·2020-08-04 20:27

李航《统计学习方法》EM算法导出，式9.13详细推导

感觉书中对式子9.13的推导不严谨，补充式子（9-13）完整推导：对于观测数据Y（不完全数据）关于参数θ的对数似然函数：L(θ)=log⁡P(Y∣θ)=log⁡∑ZP(Y,Z∣θ)=log⁡(∑ZP(Y∣Z,θ)P(Z∣θ))\begin{aligned}L(\theta)&=\logP(Y|\theta)=\log\sum_{Z}P(Y,Z|\theta)\\&=\log\lef
莫叶何竹·2020-08-04 20:24

ML—拉格朗日对偶和KKT条件

zhengyizhangTianjinKeyLaboratoryofCognitiveComputingandApplicationTianjinUniversityOct23,2015本文基于斯坦福AndrewNG讲义和李航统计学习方法
掉下个小石头·2020-08-04 09:45

李航《统计学习方法》笔记

李航《统计学习方法》读书笔记目录李航《统计学习方法》读书笔记一、知识点二、感知机三、k近邻法四、朴素贝叶斯五、决策树六、logistic回归和最大熵模型七、支持向量机八、提升方法九、EM算法EM算法是一种迭代算法
yz1780041410·2020-08-04 09:00

ASM（active shape models）算法介绍

ASM跟大多数统计学习方法一样，也包括train和test（orfit）两部分，也就是形状建模build和形状匹配fit。这个算法其实很简单，可以用来
yang_xian521·2020-08-04 09:47

统计学习方法—SVM推导

目录SVM1.定义1.1函数间隔和几何间隔1.2间隔最大化2.线性可分SVM2.1对偶问题2.2序列最小最优算法（SMO）3.线性不可分SVM3.1松弛变量3.2求解对偶问题3.3支持向量求解参数\(w,b\)4.非线性SVM5.Reference:SVM  支持向量机是一种二分类模型，它以间隔最大作为优化目标，因此它比感知机仅仅以误分类推动的模型要优胜不少。数据线性可分时，SVM直接以间隔最大训
weixin_38169722·2020-08-04 06:00

《统计学习方法》笔记

《统计学习方法》笔记书籍ISBN：978-7-302-27595-4第3章k近邻法P373.1节k近邻算法k近邻算法简单、直观：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例
weixin_34066347·2020-08-04 05:40

《统计学习方法（李航）》讲义 第07章 支持向量机

支持向量机(supportvectormachines,SVM)是一种二类分类模型.它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机;支持向量机还包括核技巧，这使它成为实质上的非线性分类器.支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划(convexquadratic也等价于正则化的合页损失函数的最小化问题.支持向programming)的问题，量机
Just do it·2020-08-04 04:44

【深度学习基础】从零开始的炼丹生活03——支持向量机以及核方法

（主要参考《统计学习方法》以及部分博客）支持向量机包含线性可分的支持向量机、线性支持向量机、非线性支持向量机，让我们从简单到复杂来学习它。一、什么是支持向量机支持
wby1905·2020-08-04 03:31

矩阵的奇异值分解(SVD)及PCA应用

本篇文章参考了李航老师的《统计学习方法》第二版。
song430·2020-08-04 01:45

支持向量机

支持向量机@(2016/08/02)阅读笔记——周志华《机器学习》和李航《统计学习方法》支持向量机（supportvectormachine）是一种二类分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器
MeJnCode·2020-08-04 00:33

核函数的理解一

首先给出官方核函数的定义，其定义如下(可参考统计学习方法)：设X是输入空间（欧氏空间或离散集合），Η为特征空间（希尔伯特空间），如果存在一个从X到Η的映射φ(x):X→Η使得对所有的x,y∈X,函数Κ(
Michael_Shentu·2020-08-04 00:49

拉格朗日对偶性问题-《统计学习方法》学习笔记

0.内容介绍在约束最优化问题中，常常利用拉个朗日对偶性将原始问题转化为对偶问题，通过解对偶问题而得到原始问题的解，该方法应用在很多的统计学习方法中。
土肥宅娘口三三·2020-08-04 00:19

统计学习方法7-SVM详细推导

文章目录SVM1.定义1.1函数间隔和几何间隔1.2间隔最大化2.线性可分SVM2.1对偶问题2.2序列最小最优算法（SMO）2.2.1坐标下降法2.2.2SMO求解方法2.2.2.1求解等式约束2.2.2.2不等式约束修剪2.2.2.3变量的选择方法3.线性不可分SVM3.1松弛变量3.2求解对偶问题3.3支持向量求解参数$w,b$4.非线性SVM5.Reference:SVM  支持向量机是一
isstack·2020-08-03 22:05

统计学习方法之感知机 python代码实现

根据《统计学习方法》第2章，用python实现感知机。
okfu_DL·2020-08-03 20:20

李航《统计学习方法》学习笔记

文章目录统计学习方法概论监督学习知识点感知机k近邻法kd树:朴素贝叶斯决策树决策树的生成:决策树的剪枝:logistic回归和最大熵模型支持向量机线性可分支持向量机:非线性支持向量机:提升方法AdaBoost
Code进阶狼人·2020-08-03 19:00

Spark入门笔记

书籍>-spark大数据处理技术-sparkmllib机器学习实践-ApacheSpark源码剖析-Spark快速数据处理-深入理解Spark核心思想与源码分析-统计学习方法-spark官方文档中文版环境搭建教程
jerry_hero·2020-08-03 18:28

（一）拉格朗日对偶问题（Lagrange duality）

该方法应用在许多统计学习方法中，例如，最大熵模型与支持向量机。这里简要叙述拉格朗日对偶性的主要概念和结果。
LintaoD·2020-08-03 13:13

机器学习：朴素贝叶斯代码实现（不调库，基于《统计学习方法》中的简单数据）

什么是朴素贝叶斯：《统计学习方法》中，李航老师简洁地介绍了朴素贝叶斯基础的原理和算法虽然通篇下来也是满满的公式，但基本都是上层的公式，省略了许多底层的推导例如：极大似然估计法推出朴素贝叶斯法中的先验概率估计公式
CxsGhost·2020-08-03 12:02

【统计学习方法】支持向量机之非线性支持向量机

前篇：【统计学习方法】支持向量机之线性支持向量机一、核技巧非线性分类问题：下图是一个非线性分类问题：由图可见，无法用直线(线性模型)将正负实例正确分开，但可以用一条椭圆曲线(非线性模型)将它们正确分开.
菜小白—NLP·2020-08-03 12:06

拉格朗日乘子法、KKT条件、拉格朗日对偶性

拉格朗日乘子法、KKT条件、拉格朗日对偶性@20160718笔记主要来源于维基百科和《统计学习方法》拉格朗日乘子法(LagrangeMultiplier)拉格朗日乘子法是一种寻找有等式约束条件的函数的最优值
MeJnCode·2020-08-03 11:38

《统计学习方法》——感知机与支持向量机

机器学习有三要素：模型，策略，方法。模型是所有函数的假设空间，策略是模型选择标准，方法是选择最优模型的算法。其中模型是输入变量的线性函数，策略用损失函数、风险函数度量。损失函数度量一次预测好坏，（0-1损失函数，平方损失函数，绝对损失函数，对数损失函数），风险函数度量平均预测好坏（经验风险，结构风险）。求支持向量机的最优解，可以理解为求损失函数极小化问题的最优解。基本原理：现在有一些数据点，用一条
计科小白兔·2020-08-03 09:32

【统计学习方法-李航-笔记总结】二、感知机（感知机的原始形式与对偶形式）

本文是李航老师《统计学习方法》第二章的笔记，欢迎大佬巨佬们交流。
zl3090·2020-08-03 09:44

1.3万字的支持向量机-含详尽的数学推导和细致全面的逻辑解释-第一部分

一、前言（1）现有SVM相关材料的贡献与不足周志华《机器学习》李航《统计学习方法》支持向量机通俗导论（理解SVM的三层境界）从零推导支持向量机（2）本文的贡献和不足本文的贡献本文的不足（3）阅读本文所需的数学知识
大奸猫·2020-08-03 09:55

SVM中的训练算法：序列最小最优化算法SMO的读书笔记

最近重看李航的统计学习方法，看SVM这章，细细的对了一下其中将SMO的这一张，记得去年这会儿看这本书的SMO这章还有点懵懵懂懂，并在书上写了自己一些疑问的笔记，今年重新看发现之前的疑问不再是疑问了，于是做个笔记总结一下
薛定谔的熊·2020-08-03 08:06

关于SVM中SMO算法第一个向量选择的问题

在看李航编写的《统计学习方法》一书中第128页时，涉及到SMO算法中第一个变量的选择，然后作者指出选择不满足KKT条件的变量作为第一个变量，然后突然给出了如下三个KKT条件:αi=0⇔yig(xi)≥1
重生之年·2020-08-03 08:20

支持向量机

转载自：http://www.hankcs.com/ml/support-vector-machine.html码农场»支持向量机删除了原文机器学习实战实践的内容（粘贴代码会乱码）本文是《统计学习方法》
白熊花田·2020-08-03 08:16
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他