李航统计学习方法

机器学习书籍

《统计学习方法》作者李航，是国内机器学习领域的几个大家之一，曾在MSRA任高级研究员，现在华为诺亚方舟实验室。书中写了十个算法，每个算法的介绍都很干脆，直接上公式，是彻头彻尾的“干货书”。
清冬·2018-12-05 17:11

感知机的原始算法_python

本系列文章主要是对李航老师的《统计方法分析》里涉及到的机器学习算法利用python进行实现，每个算法包括两部分，理论说明和代码实现，为方便在调用模块或类的时候查看原理，相关理论说明在代码中以文档字符串出现
Julie_nana·2018-12-04 20:49

svm算法 最通俗易懂讲解

locationNum=8&fps=1详细的解释见李航的《统计学习方法》最近在学习svm算法，借此文章记录自己的学习过程，在学习很多处借鉴了z老师的讲义和李航的统计，若有不足的地方，请海涵；svm算法通俗的理解在二维上
hemeinvyiqiluoben·2018-12-03 10:18

统计学习方法第二章

统计学习方法第二章思维导图（是不是像目录的结构，就这样结束太草率）具体解释：感知机感知机是二类分类的线性分类模式，输入为实例的特征向量（输入向量的不同分量结合在一起就是指特征向量），输出为实例的类别。
Jamence·2018-11-30 10:03

机器学习：《统计学习方法》笔记（三）—— EM算法

参考：《统计学习方法》——李航；摘要介绍了EM算法的推导过程、步骤及在三硬币模型中的应用等内容。正文1.什么地方要用EM算法EM算法主要用于含有隐含变量的模型参数估计问题。
另一个我竟然存在·2018-11-28 15:34

【机器学习模型详细推导5】-朴素贝叶斯分类

朴素贝叶斯分类一.朴素贝叶斯分类介绍二.算法推导详解三.附上《统计学习方法》中的算法流程一.朴素贝叶斯分类介绍首先，对于更定数据集{(x1,y1),(x2,y2),…,(xm,ym)}\{(x_1,y_
阿凯就好·2018-11-25 20:41

家校共育/我的孩子在进步

刘俊成妈妈麦俊鹏姑姑张睿妈妈冯晓彤妈妈徐海霞妈妈杨祖烨妈妈曾荗林妈妈马朗妈妈周诗琦妈妈赖浩楠爸爸单东航妈妈陈雅婕妈妈邱子韵妈妈李好爸爸谭俊泳爸爸李宝怡爸爸关宝怡爸爸刘誉妈妈马文东爸爸王乐怡妈妈张海科爸爸李航科妈妈潘晓彤妈妈李凯龙妈妈何坤城爸爸蒋宇淇妈妈刘俊成家长这次儿子有进步数学考了
liaocuiya·2018-11-25 16:48

统计学习方法 第二章 | 感知机

目录1感知机模型2感知机学习策略任一点到超平面的距离推导过程感知机的损失函数3感知机学习算法3.1学习算法的原始形式3.2学习算法的对偶形式1感知机模型2感知机学习策略任一点到超平面的距离推导过程x·y=x1y1+x2y2+...感知机的损失函数*注意损失函数是定义在集合M上的，即只考虑误分类的点3感知机学习算法3.1学习算法的原始形式*注意是随机选取一个点进行参数更新3.2学习算法的对偶形式参考
HW_WY·2018-11-20 22:32

统计学习方法 李航 读书笔记

************************************************************李航教授《统计学习方法》统计学教材总结主要介绍监督学习方法************
湾区人工智能·2018-11-18 15:24

《统计学习方法》读书笔记

文章目录10.2.3后向算法10.2.4一些概率与期望值的计算10.2.3后向算法βt(i)=∑j=1Naijbj(ot+1)βt+1(j)\beta_t(i)=\displaystyle\sum_{j=1}^Na_{ij}b_j(o_{t+1})\beta_{t+1}(j)βt(i)=j=1∑Naijbj(ot+1)βt+1(j)（10.20）证明：∑j=1Naijbj(ot+1)βt+1(j)
chansonzhang·2018-11-13 09:53

SVM(support vector machines)

写在开头最近在学习一些关于机器学习的基础算法，结合学习PeterHarrington的《机器学习实战》和李航老师的《统计学习方法》两本书以及网上前辈的笔记，写下了以下的学习过程。
Lucius_Keep_Going!·2018-11-12 11:56

02《统计学习方法·李航》读书笔记

目录第1章统计学习方法概率1.1统计学习1.2监督学习1.3统计学习三要素1.4模型评估与模型选择1.5正则化与交叉验证1.6泛化能力1.7生成模型与判别模型1.8分类问题1.9标志问题1.10回归问题第
huifengdong·2018-11-10 17:12

计算机图像与视觉入门必备

.OpenCV（开源计算机视觉库）五、深度学习与卷积神经网络1.课程六、期刊与会议1.期刊2.会议一、计算机视觉定义二、基础能力1.数学基础数学方面的微积分，概率学，统计学，线性代数统计学，推荐书籍《统计学习方法
huifengdong·2018-11-10 17:02

单纯型法手算详解

近来看李航的《统计学习方法》的SVM的原理，暂时发现是一种线性规划问题，因此又回顾了线性规划及其解法的内容。
bingfeiqiji·2018-11-10 16:57

再见，秋招！再战，春招！

接外包，靠着两手PHP和jQuery自以为很牛逼可以混迹江湖，大二开始，接触机器学习，那时候在学校还没那么火，然后跑去找学长请教怎么学，研究怎么做Kaggle/天池，买了很多很多书，刷西瓜书、刷了好几遍统计学习方法
MachineRandy·2018-11-06 00:00

【机器学习笔记27】CART算法-回归树和分类树

【参考资料】【1】《统计学习方法》5.5CART算法【2】http://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeRegressor.html
FredricXU·2018-11-04 09:32

一些对最大熵模型的理解

李航《统计学习方法》中对最大熵模型的描述如下：问题1：为什么是条件熵？因为我们需要的是一个分类模型，也就是对于样本x，模型返回其对应的类别y，即模型应该是一个条件概率分布，表示
t2u·2018-11-01 13:50

《统计学习方法》第9章 EM/GMM/F-MM/GEM

实时更新的原文地址：《统计学习方法》第9章EM/GMM/F-MM/GEM前言EM（期望最大）算法有很多的应用，最广泛的就是混合高斯模型、聚类、HMM等等，本质上就是一种优化算法，不断迭代，获得优值，与梯度下降
SnailDove·2018-10-28 18:01

统计学习方法（2）——K近邻模型

本博客只记录实现李航老师《统计学习方法》中讨论的算法，具体的算法流程和推导，请看书中相关章节这篇博客用最简单的方法实现了K近邻模型。之后会利用KD树实现K-近邻算法。#!
Icesuns·2018-10-28 16:02

统计学习方法（1）——感知机实现（学习算法的原始形式）

最近在看李航老师的《统计学习方法》，打算实现每一个算法。置于算法的具体介绍和讲解，此处不做详细介绍，需要了解算法内容的同学，可以看一下书上的对应章节。
Icesuns·2018-10-27 16:09

统计学习方法笔记9—EM算法1

EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计。每次迭代分两部：E步求期望，M步求极大9.1EM算法的引入概率模型既含有观测变量，又含有隐变量或潜在变量。只有观测变量可以使用极大似然估计法，当含有隐变量时就要使用EM法：隐变量的极大似然估计9.1.1EM算法例：三硬币模型y是观测变量，取值1或0；z是隐变量，表示A的结果（不可见）0是模型参数：π，p，q根据极大似然原理：求解上
DMU_lzq1996·2018-10-25 19:55

统计学习方法笔记9—EM算法1

EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计。每次迭代分两部：E步求期望，M步求极大9.1EM算法的引入概率模型既含有观测变量，又含有隐变量或潜在变量。只有观测变量可以使用极大似然估计法，当含有隐变量时就要使用EM法：隐变量的极大似然估计9.1.1EM算法例：三硬币模型y是观测变量，取值1或0；z是隐变量，表示A的结果（不可见）0是模型参数：π，p，q根据极大似然原理：求解上
DMU_lzq1996·2018-10-25 19:55

【算法】朴素贝叶斯法之分类算法

参考来源《统计学习方法》。一、输入训练数据T={(x1,y1),(x2,y2),...(xN,yN)}T=\left\{(x_1,y_1),(x_2,y_2),...
贾继康·2018-10-23 16:35

统计学习方法学习笔记（第七章　支持向量机）

支持向量机是一种二类分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包括核技巧，这使它称为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化。可以形式化为一个求解凸二次优化的问题，也等价于正则化的合页损失函数的最小化问题。支持向量机的学习算法是求解凸二次规划的最优化问题。线性可分支持向量机，线性支持向量机假设两个空间的元素一一对应，并将输
lennonmwy·2018-10-23 15:42

Hoeffding不等式

在看统计学习方法证明泛化误差上界中提到使用Hoeffding不等式(霍夫丁不等式)很陌生，占个坑理解一下。
故沉·2018-10-22 21:55

统计学习方法学习笔记（第六章　逻辑斯谛回归模型）

一个时间的几率(odds)是指该事件发生的概率与该事件不发生概率的比值。如果事件发生的概率是p，那么该事件的几率是p/1-p,二项逻辑斯谛回归模型是一种分类模型，对于这种模型而言，对数几率的值是w点x。这就是说，在逻辑斯谛回归模型中，输出Y=1的对数几率是输入x的线性函数。或者说，输出Y=1的对数几率是由输入x的线性函数表示的模型，即逻辑斯谛回归模型。线性函数的值越接近正无穷，概率值就越接近1；线
lennonmwy·2018-10-22 19:33

统计学习方法笔记8—提升方法2

8.2AdaBoost算法的训练误差分析AdaBoost最基本的性质，通过学习过程不断减少训练误差，即在训练数据集上的分类误差率。8.2.1训练误差界其中：8.2.2二分类问题的训练误差界通过分离误差界表明：AdaBoost的每次迭代可以减少它在训练数据集上的分类误差率，表明了作为提升方法的有效性。8.3AdaBoost算法的解释解释：加法模型；损失函数为指数函数；学习算法为前向分步算法；二分类学
DMU_lzq1996·2018-10-22 11:38

统计学习方法（三）感知机为什么不能表示异或

习题2.1Minsky与Papert指出：感知机因为是线性模型，所以不能表示复杂的函数，如异或（XOR）。验证感知机为什么不能表示异或。首先看一下异或：简单理解，如果两个数a和b进行异或操作。如果a、b两个值不相同，则异或结果为1。如果a、b两个值相同，异或结果为0。000011101110而感知机的模型为是符号函数，即证明：现在假设感知机可以模拟异或运算，进行反证。为了简便，假设向量只有两个维度
shijiatongxue·2018-10-22 09:06

李航统计学习方法-概论

在统计学习方法的书中就监督学习进行了理论分析。监督学习的三要素
flyinbirdf·2018-10-21 12:00

维特比算法理解与实现（Python）

下面的公式和原理均出自《统计学习方法》。算法的原理算法的原理1.PNG算法的原理2.PNG上面写了一大堆，意思就是：每个时刻选择出概率最大的路径，将路径上的每个结点连接起来就得到了最优路径。
牛顿学计算机·2018-10-19 23:57

统计学习方法学习笔记（第四章　朴素贝叶斯法）

朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y),具体地，学习以下先验概率分布以及条件概率分布。先验概率分布为P(Y=ck);条件概率分布为p(X=x|Y=ck)；条件概率分布有指数级量级的参数，其实际参数的估计是不可行的。那么参数个数为KSj.朴素贝叶斯法对条件概率分布作了条件独立性的假设，由于这是一个较强的假设，朴素贝叶斯法也由此得名。朴素贝叶斯法实际上学习到生成数据的机制，属于生成模型
lennonmwy·2018-10-18 14:11

李航-机器学习-感知机（perceptron)-原始形式

机器学习-感知机(perceptron)感知机模型感知机模型感知机学习策略感知机算法实现代码实现运行程序可得运行程序感知机模型感知机是一种线性的、二类分类模型，可以将空间划分为正类和负类，是一种判别模型，输入为具体的实例，输出为实例的类别（+1，-1）。有原始形式和对偶形式两种。感知机是神经网络和支持向量机的基础。感知机预测是利用学习到的模型对输入实例进行类别的划分。由输入空间到输出空间有如下函数
小瓜皮小·2018-10-14 12:23

感知器算法对偶形式实现

感知器算法对偶形式学习策略详见李航《统计学习方法》原始形式与对偶形式二者区别梯度下降：一次将误分类集合中所有误分类点的梯度下降；----对偶形式随机梯度下降：随机选取一个误分类点使其梯度下降；----原始形式代码如下
沪a_________·2018-10-10 16:34

统计学习方法（5）集成学习（提升方法）：bagging和boosting

1、Bagging：基于并行策略：基学习器之间不存在依赖关系，可同时生成。基本思路：利用自助采样法对训练集随机采样，重复进行T次;基于每个采样集训练一个基学习器，并得到T个基学习器；预测时，集体投票决策。自助采样法：对m个样本的训练集，有放回的采样m次；此时，样本在m次采样中始终没被采样的概率约为0.368，即每次自助采样只能采样到全部样本的63%左右。采样和训练过程:特点：训练每个基学习器时只使
简之·2018-10-06 15:30

李航统计学习之感知机及Python实现

前言最近开始学习李航的《统计学习方法》，作为模式识别学科的学生，感觉有必要把一些经典的machinelearningmethod用python实现一边，有利于加强对机器学习算法的理解。
SoyCoder·2018-10-05 20:05

统计学习方法第四章课后习题（转载+重新排版+自己解读）

4.1用极大似然估计法推导朴素贝叶斯法中的先验概率估计公式(4.8)和条件概率估计公式(4.9)首先是(4.8)P(Y=ck)=∑i=1NI(yi=ck)NP({Y=c_k})=\frac{\sum_{i=1}^NI(y_i=c_k)}{N}P(Y=ck)=N∑i=1NI(yi=ck)###################下面开始证明###############################下
李固言·2018-10-03 19:29

统计学习方法-第二章课后习题答案整理

2.1Minsky和Papert指出：感知机因为是线性模型，所以不能表示复杂的函数，如异或。验证感知机为什么不能表示异或参考链接：https://blog.csdn.net/yangfeisc/article/details/454860672.2，换下数据即可，具体代码实现参考：https://blog.csdn.net/appleyuchi/article/details/829288812.
李固言·2018-10-02 23:20

统计学习方法例2.1实现（转）

对应李航《统计学习方法》P29的例2.1#-*-coding:utf-8-*-importsysreload(sys)sys.setdefaultencoding('utf-8')#@Author:appleyuchi
李固言·2018-10-02 21:03

李航第一章课后习题答案

1.1统计学习方法的三要素是模型、策略、算法。伯努利模型是定义在取值为0与1的随机变量上的概率分布。
李固言·2018-10-02 19:24

李航统计学习方法之感知机学习（含感知机原始形式和对偶形式Python代码实现）

感知机感知机基本介绍感知机是一个线性二分模型，输出取值为{-1,1}。是判别模型。感知机是为了求解一个超平面，该超平面能够将特征空间里的实例分解为正例和负例。设超平面方程为y=w*x+b，因此，引入基于误分类点的损失函数。如果损失函数为误分类点个数，则该损失函数不是w和b的连续可导函数，不利于优化。我们考虑另一个选择：误分类点距离该超平面的距离。假设空间任意一点(x0,y0)(x_0,y_0)(x
禅心001·2018-09-30 17:18

感知机对偶形式手算过程

李航《统计学习方法》第二章手算过程开始符号说明：（A，B）表示A与B的内积首先都是0，因为每个都没有误分，因此，所以这就是表2.2的第一列接着，就是进入迭代过程，首先计算第一个点那么就出现误分类，则此时
bingfeiqiji·2018-09-28 11:18

【机器学习笔记18】隐马尔可夫模型

【参考资料】【1】《统计学习方法》隐马尔可夫模型（HMM）定义隐马尔可夫模型:隐马尔可夫模型是关于时序的模型，描述一个由隐藏的马尔可夫链生成的不可观测的状态序列，再由各个状态生成的观测值所构成的一个观测序列
FredricXU·2018-09-28 07:29

【机器学习笔记16】拉格朗日乘子法

【参考资料】【1】《统计学习方法》【2】《凸优化》【3】小象学院《凸优化》凸集直线和线段的表达设x1≠x2x_1\nex_2x1̸=x2是RnR^nRn空间上的两个点，具有存在下列定义的点：y=θx1+
FredricXU·2018-09-28 07:10

【机器学习】：决策树

参考文献[1].李航.《统计学习方法》[2].周志华.《机器学习》[3].https://blog.csdn.net/zhengzhenxian/article/details/79083643
BQW_·2018-09-27 21:37

统计学习方法笔记7—支持向量机3

7.3非线性支持向量机与核函数7.3.1核技巧非线性分类问题非线性解决思路：转化为线性分类问题核技巧：欧几里得空间与希尔伯特空间：https://blog.csdn.net/shijing_0214/article/details/51052208核函数定义核技巧在支持向量机中的应用线性支持向量机中的目标函数和分类决策函数的内积用核函数来代替：这等价于经过映射函数将原来的输入空间变换到一个新的特征
DMU_lzq1996·2018-09-27 15:49

统计学习方法笔记7—支持向量机1

第七章支持向量机支持向量机（supportvectormachines,SVM)是一种二类分类模型，基本模型是定义在特征空间上的间隔最大的线性分类器。7.1线性可分支持向量机与硬间隔最大化7.1.1线性可分支持向量机支持向量机的学习都是在特征空间进行的。学习的目标：特征空间找到一个分离超平面w*x+b=0将实例分到不同的类。感知机利用误分类最小策略求得分离超平面；线性可分向量机利用间隔最大化（凸二
DMU_lzq1996·2018-09-25 18:04

统计学习方法笔记1—概论

第一章统计学习方法概论1.1统计学习统计学习特点：计算机网络平台，数据驱动，构建模型，预测分析统计学习对象：data，具有一定统计规律的数据统计学习目的：预测分析统计学习方法：模型，策略，算法；统计学习方法的步骤
DMU_lzq1996·2018-09-20 21:27

白话多项式拟合

数学推导过程参考于:李航《统计学习方法》多项式函数拟合问题V2https://blog.csdn.net/xiaolewennofollow/article/details/46757657《统计学习方法
Yanring_·2018-09-20 16:08

机器学习第一篇----感知机

《统计学习方法》看到第三遍，准备给大家分享一下感悟，已经一些算法的代码实现首先来看下《统计学习方法》对感知机的定义其实我们想象一下，就是一条线（直线，曲线都可以），把空间一分为二，很容易理解。
半路出家的it小僧·2018-09-16 22:02

KNN算法实现

前提基础：KNN基本原理，本文参考李航博士著《统计学习方法》距离度量方式欧式距离曼哈顿距离夹角余弦切比雪夫距离马氏距离k值的选择算法优缺点优点：精度高、对异常值不敏感、无数据输入假定；缺点：计算复杂度高
沪a_________·2018-09-16 18:08
上一页 46 47 48 49 50 51 52 53 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他