李航统计学习方法

统计学习方法笔记： CART算法

感想这个算法既可以做分类也可以做回归树，但是这篇文章没有给做回归的例子，回归的算法只是阐述了概念上的，但是做分类的算法阐述的比较详细，用的是基尼指数来创建树的，和前面的ID3和C4.5的建树过程有点区别。基尼系数不好懂，最好的方式是根据下面的例子手算一遍就明白了介绍分类与回归树（classificationandregressiontree,CART）模型由Breiman等人在1984年提出，是应
农民小飞侠·2017-09-10 12:00

Caffe入门随笔

其次是华盛顿大学的MachineLearning系列课程，一共有6门，包括毕业设计（2）书籍：机器学习（周志华西瓜书）、机器学习实战、统计学习方法（李航）、集体智慧编程、数学之美（吴军）（3）微博@余凯
weixin_30677617·2017-09-09 20:00

《统计学习方法》笔记一

统计学习对象统计学习对象是数据，从数据出发，提取出特征，抽象出数据模型，发现数据知识，用于对回溯的分析和预测中统计学习方法获取新年数据集合确定所有可能包含模型的假设空间，即学习模型的集合（模型）确定模型选择准则
TheOneAc1·2017-09-09 16:44

《统计学习方法》李航_学习笔记_第4章_朴素贝叶斯

1.1基本方法1.2后验概率最大化的含义2朴素贝叶斯法的参数估计2.0参数估计数目2.1极大似然估计2.2贝叶斯估计2.3学习与分类算法思考代码实现1连续数据（iris数据集）2离散数据（文本分类）《统计学习方法
猫哆哩o0·2017-09-09 16:31

HMM超详细讲解+代码

最近从52nlpHMM系列讲解再次入手，结合多篇博客、github项目以及李航的《统计学习方法
continueOo·2017-09-08 13:55

统计学习（监督学习）框架总结

以下内容参考《统计学习方法》李航著，《Python机器学习及实践》范淼、李超著机器学习：监督学习——对事物未知表现的预测无监督学习——对事物本身特性的分析半监督学习，强化学习无监督学习：数据降维——对事物的特性进行压缩和筛选
Young_win·2017-09-06 22:38

统计学习方法之支持向量机

【概述】SVM训练分类器的方法是寻找到超平面，使正负样本在超平面的两侧（分类正确性即“分得开”），且样本到超平面的几何间隔最大（分类确信度即“分得好”）。每个样本点xi的几何间隔至少是γ，要求γ首先是>0（分类正确），然后尽力求γ的最大值（分得好，要γ>1）。另外γ值是由少数在margin上的点决定的（引出支持向量的概念，名字还挺形象的！这些向量“撑”起了分界线）。注：SVM算法的特点是巧妙地利用
sealaes·2017-09-06 20:32

机器学习入门笔记简介

1我的机器学习之路很多人一开始就看李航的《统计学习方法》，但很快就会被满篇幅的数学式子吓退，但这本是机器学习经典的一本读物，我是拿它在进阶前补充理论知识的。
Miss_喵·2017-09-05 22:42

logistic与softmax分类

待处理统计学习方法：罗杰斯特回归及Tensorflow入门参考阅读深度学习笔记(一)：logistic分类LogisticRegression的前世今生（理论篇）LogisticRegression–GeometricIntuitionTheSimplerDerivationofLogisticRegressionLogisticregression
jiandanjinxin·2017-09-05 16:52

机器学习实战：KNN算法讲解

机器学习实战：KNN算法讲解    KNN算法本章内容来至于《统计学习与方法》李航,《机器学习》周志华,以及《机器学习实战》Peter HarringTon,相互学习,不足之处请大家多多指教  1.1 
hust我是船长·2017-09-05 00:00

机器学习实战：KNN算法

机器学习实战：KNN算法本章内容来至于《统计学习与方法》李航，《机器学习》周志华，以及《机器学习实战》PeterHarringTon，相互学习，不足之处请大家多多指教1.1KNN算法的优缺点1.2KNN
hust我是船长·2017-09-04 00:00

统计学习方法—第二章 感知机（perceptron）（持续更新）

感知机（perceptron）是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别。类别分别用+1和-1二值表示。顾名思义，这个模型能通过一个“黑箱”“感知到”输入变量的属性/特点，从而将变量分类。感知机（perceptron）是监督学习的一种，监督学习的模型可分为生成模型和判别模型，其中感知机模型为判别模型。感知机模型的工作原理，我们可以简单的理解为：在二维平面里，一条直线把坐标平
大鱼霸吃小鱼儿·2017-08-19 15:12

十一、改变神经网络的学习方法（5）：随机梯度下降的变化形式(Adagrad、RMSProp、Adadelta、Momentum、NAG)

本篇博客主要内容参考图书《神经网络与深度学习》，李航博士的《统计学习方法》NationalTaiwanUniversity(NTU)李宏毅老师的《MachineLearning》的课程，在下文中如果不正确的地方请积极指出
独孤呆博·2017-08-19 15:14

【统计学习方法】感知机Python 对偶形式实现

代码可在Github上下载:(https://github.com/FlameCharmander/MachineLearning)前言上篇博文感知机的原始形式提到了感知机的原始形式，而这篇博文介绍的是感知机的对偶形式。算法理论感知机的原始形式提到的参数更新：\[\begin{array}{l}w\leftarroww+\eta{y_i}{x_i}\\b\leftarrowb+\eta{y_i}\
火烫火烫的·2017-08-15 19:36

【统计学习方法】感知机Python 原始形式实现

前言代码可在Github上下载:(https://github.com/FlameCharmander/MachineLearning)感知机作为一个二分类模型，在1957年由Rosenblatt提出，是感知机是支持向量机SVM和神经网络的一个基础。目的是通过将一个实例（比如一个西瓜是否好坏）进行分类，输入的是实例特征向量，输出的是实例的类别。紧记机器学习三要素：模型，策略，算法。首先简要地说下感
火烫火烫的·2017-08-15 16:54

《机器学习实战》之决策树ID3、C4.5、CART算法【二】

环境：win1064位+Python3.6.0说明：本系列文章笔记将结合《统计学习方法》一起来说明，因为这两本书刚好实现了理论与实践的完美结合，既没有理论的那种枯燥无味的不适感，也没有一昧追求动手（敲代码
att0206·2017-08-12 14:39

一、神经网络 -- 从感知机讲起

本篇博客主要内容参考图书《神经网络与深度学习》，李航博士的《统计学习方法》NationalTaiwanUniversity(NTU)李宏毅老师的《MachineLearning》的课程，在下文中如果不正确的地方请积极指出
独孤呆博·2017-08-12 12:04

python实现最大熵模型

#encoding:utf-8'''Createdon2017-8-7根据李航>实现'''fromcollectionsimportdefaultdictimportmathclassMaxEnt(object
adzhua·2017-08-08 09:28

统计学习方法之感知机

【概述】1、感知机模型特征：感知机对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型。2、感知机策略：感知机学习的目标是求出将训练数据进行线性划分的分离超平面，导入基于误分类的损失函数，利用梯度下降法对损失函数进行最小化，求得感知机模型。3、感知机学习算法：用学习得到的感知机模型对新的输入实例进行分类。4、重点：感知机是神经网络和支持向量机的基础，所以一些核心概念要仔细理解和和掌握。一
sealaes·2017-08-06 10:53

逻辑回归与最大熵模型

转自微信公众号：机器学习算法与Python学习以及统计学习方法Logistic回归逻辑回归是用来分类的，是一种线性分类器，需要注意的地方有：1.Logistic函数的表达式：其导数形式为2.logsitc
士多啤梨苹果橙_cc15·2017-08-02 17:42

机器学习初探之感知机模型

最近在工作闲暇中也在追赶时代的潮流,于是就打起了机器学习的注意,通过网上查阅资料还有询问相关的从业人员,发现机器学习的成本还是蛮高的,对数理统计这方面的要求也蛮高,还好我同事是统计方面的留学高材生,给我推荐了李航博士的
哇塞田·2017-08-02 11:41

《西瓜书》笔记08：集成学习

因为是以李航的《统计学习方法》为主来看，将西瓜书作为补充。李航书的特点就是10个算法，每个推导，实例辅助，不拖泥带水，干货满满。西瓜书恰好弥补了李航书的不足，非常丰润，很多补充的小知识点。
鸟恋旧林XD·2017-08-01 00:00

ROC与AUC小结

前言最近组内在学习机器学习算法，参考书目是李航老师的《统计学习方法》。目前工业界对于离线推荐效果验证的指标通常是AUC，我是前不久才知道这个指标的。
承羿·2017-07-27 18:03

李航 统计学习方法 第五章 决策树 课后 习题 答案

决策树是一种基本的分类和回归方法。决策树呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。它可以认为是if-then规则的集合，也可以认为是定义在特征空间和类空间上的条件概率分布。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型。预测时，对新的数据，利用决策树模型进行分类。决策树学习通常包括三个步骤：特征选择、决策树的生成和决策树的剪枝。（ID3、C4.5、CART）1特征选
fxnfk·2017-07-24 11:01

努力：论文CCCV 2017录取通知

研究过程大概是有这么几个阶段：（1）看书因为考虑用条件随机场（ConditionalRandomField,CRF）来对神经网络的分割结果进行优化，所以先看李航博士的《统计学习方法》第10、11章，分别是关于隐马尔科夫模型和条件随机场
鸟恋旧林XD·2017-07-20 17:55

机器学习相关书籍

最近见了一些大佬，也推荐了一些书籍，自己整理了一下（不断更新）：《数学之美》吴军《统计学习方法》李航《凸优化》StephenBoyd《机器学习》周志华《机器学习实战》ShaiShalev-ShwartzandShaiBen-David.UnderstandingMachineLearning
iCGY96·2017-07-18 18:51

统计学习方法读书笔记（1）

第一章.方法概论1.监督学习：对任意给定输入，对其相应的输出做一个好的预测。2.回归问题：输入变量与输出变量都为连续变量的预测问题。分类问题：输入变量为有限个离散变量的预测问题。标注问题：输入输出变量均为变量序列的预测问题。3.概率模型：由条件概率分布P(Y|X)表示非概率模型：由决策函数Y=f(X)表示4.统计学习三要素：（1）模型：概率模型or非概率模型（2）策略：学习或选择最优的模型，如何度
PJQOOO·2017-07-16 14:00

统计学习方法笔记，第四章朴素贝叶斯法

朴素贝叶斯法基于贝叶斯定理和条件独立假设，是一种生成判别的方法，因为是生成概率分布模型，它的效率很高很快，且可适用小样本问题和样本不平衡问题。4.1朴素贝叶斯法的学习与分类已知类集合为，对于一个输入的特征向量,我们的预测问题通常可以表示为求即求当输入向量时，分类结果y的概率最大的那一类。那么怎样求呢？我们考虑用贝叶斯定理那么问题就转化为求和那这俩又是什么玩意儿呢？也就是ck类的数据里面是的数据的概
努力学挖掘机的李某某·2017-07-14 09:26

机器学习教程之1-感知器(Perceptron)的sklearn实现

简单且易于实现缺点：1.感知器模型如果数据是线性可分的，并且是二分类的，则可以以下函数模型表示输入到输出的关系：2.感知器学习策略将所有误分点到超平面距离之和表示为代价函数：不考虑，得到感知器的代价函数：说明：李航的书用
豆-Metcalf·2017-07-10 14:56

统计学习方法笔记2--感知机

#-*-coding:utf-8-*-importosimportoptparse#命令行参数解析#----------------------------------------------------------------optparser=optparse.OptionParser()optparser.add_option("-i","--input",default="",help="
catcatrun·2017-07-06 21:01

机器学习感知机（统计学习-李航）

感知机概述感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。它是神经网络与支持向量机的基础。感知机模型假设输入空间(特征空间)是x∈Rn，输出空间是y={+1,-1}。输入是实例的特征向量，对应于输入空间的点；输出是实例
_Joe·2017-07-06 18:18

秋招-计算机视觉、机器学习岗需要复习的内容

primer》算法编程：Leetcode，牛客网，《算法导论》编程思想：《算法导论》，《程序员面试宝典》，《剑指offer》其他语言熟悉：Python，Scala，Matlab等机器学习基础知识——《统计学习方法
YHZZD·2017-07-06 15:05

《机器学习实战》学习笔记-[3]-决策树_1_基础

基本概念和应用参考：统计学习方法（五）——决策树决策树构建基本步骤第一步：决策特征值的选择（能够最好分类）第二步：递归构建决策树 以上分类的基
hjw199089·2017-07-06 00:00

7.4日数学培优班课堂反馈（第二次课）

班名：四年级数学培优课次：7月4号第二次课课程内容：两位数乘两位数及应用：（1）判断积的个位、积是几位数（2）归一法应用题、倒推、画图法（3）竖式谜讲解学生课堂表现：肖柏翊和刘志诚上课时有点开小差李航德举手很积极算题又快又正确袁婧淇今天做一道很难的题时只有她一个人做对了但上课偶尔趴着喜欢咬笔李航德偶尔开小差做小动作刘志诚开小差玩手胡厚宸今天回答问题很积极逻辑推理能力不错肖柏翊上黑板做题时很快答对了
Guoting_·2017-07-04 08:40

《统计学习方法》李航_学习笔记_第7章_支持向量机

支持向量机##1简介适用情况：支持向量机主要针对小样本数据进行学习、分类以及预测起源：Logistic回归（0/1分类问题）基本模型：定义在特征空间上的间隔最大化的线性分类器学习策略：间隔最大化学习算法：求解凸二次规划的最优化算法学习目标：在特征空间中找到一个分离超平面，使得实例分到不同的类当训练集线性不可分时，通过使用核技巧和软间隔最大化，学习非线性支持向量机核函数：将输入从输入空间映射到特征空
猫哆哩o0·2017-07-01 19:58

python+HMM之维特比解码

HMM回顾《统计学习方法》p.174隐马尔科夫模型（HMM）有三个基本的问题（1）概率计算问题。
永永夜·2017-06-28 13:13

《统计学习方法》第1章 课后题答案

1.1说明伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素。伯努利模型是定义在取值为0与1的随机变量上的概率分布。
Silver-·2017-06-27 00:49

统计学习方法之感知机(Perception Mechine)

在这里我刚好看了一眼逻辑回归（LogisticRegression）（PS：李航老师叫他逻辑斯提，其实是一个意思），都是分类方法，有什么区别呢？我发邮件问了徐悦甡老师，但是还没理我。
约瑟夫的杂货店·2017-06-25 11:14

函数空间

最近在学习统计学习方法的过程中，总是会出现欧式空间，希尔伯特空间。
Sn_better·2017-06-19 16:07

《统计学习方法》第4章 课后题答案

这一章主要讲了朴素贝叶斯方法，书上的介绍比较简单，但是搞定第二个习题的过程中吃了很多苦头。4.1用极大似然估计法推出朴素贝叶斯法中的概率估计公式(4.8)及公式(4.9)证明：题干中要推导的两个公式分别如下：P(Y−ck)=∑Ni=1I(yi=ck)N,k=1,2,…,KP(X(j)=ajl|Y=ck)=∑Ni=1I(x(j)i=ajl,yi=ck)∑Ni=1I(yi=ck)这两个公式的推导过程很
Silver-·2017-06-18 00:29

《统计学习方法》第7章 课后题答案

最近在补一些机器学习的基础知识，所以就刷了一下李航博士的《统计学习方法》。那么刷一本书怎么才能彻底呢，当然是刷题了。幸好作者在每一章留有课后题，在这里尝试做一下。
Silver-·2017-06-16 11:19

统计学习方法笔记二-----感知机算法（PLA）代码实现

代码实现上一节，我们介绍了感知机算法（PLA）的理论知识，本节，我们主要讲解一下利用Python实现感知机算法。算法一首选，我们利用Python，按照上一节介绍的感知机算法基本思想，实现感知算法的原始形式和对偶形式。#利用Python实现感知机算法的原始形式#-*-encoding:utf-8-*-"""Createdon2017.6.7@author:Ada"""importnumpyasnpi
SmileAda·2017-06-07 09:23

k近邻算法的kd树实现原理

本文参考《统计学习方法》李航k近邻k近邻又叫KNN，是一种基本分类方法。
Qer_·2017-05-30 13:00

k近邻算法的kd树实现原理

本文参考《统计学习方法》李航k近邻k近邻又叫KNN，是一种基本分类方法。
Qer_computerscience·2017-05-30 13:00

感知机模型的原理

感知机模型感知机学习策略感知机学习算法本文参考《统计学习方法》李航感知机模型1.什么是感知机：感知机是一个二分类线性分类模型，输入为实例的特征向量，输出为实例的类别。
Qer_·2017-05-28 23:32

统计学习方法 第4章 朴素贝叶斯法 习题答案

1描述设输入空间X⊆Rn\mathcal{X}\subseteqR^nX⊆Rn为nnn维向量的集合，输出空间为类标记集合Y={c1,c2,…,cK}\mathcal{Y}=\{c_1,c_2,\dots,c_K\}Y={c1,c2,…,cK}。输入为特征向量x∈Xx\in\mathcal{X}x∈X，输出为类标记y∈Yy\inYy∈Y。XXX是定义在输入空间X\mathcal{X}X上的随机变量，
fxnfk·2017-05-16 16:41

统计学习方法读书笔记--概论

定义统计学习==统计机器学习方法分类监督学习无监督学习半监督学习强化学习三要素模型策略算法步骤得到一个有限的训练数据集合;(原始数据)确定假设空间,即学习模型的集合;(是分类问题,还是回归问题)确定模型选择的准则,即学习的策略;(选择什么样的分类器呢?)实现求解最优模型的算法,即学习的算法;(分类器的参数怎么求?)通过学习方法选择最优模型;(各种模型,哪个是最优的?)利用学习的最优模型对新数据进行
ljinshuan·2017-05-14 16:13

支持向量机SVM通俗理解（python代码实现）

第二次学习理论，看了李航的《统计学习方法》以及网上的博客。看完后感觉，满满的公式。。。记不住啊。第三次，也就是这次通过python代码手动来实现SVM，才让我突然对SVM不有畏惧感。
a_achengsong·2017-05-11 02:08

统计学习方法笔记（一）

统计学习方法概论本系列文为李航博士的《统计学习方法》一书的个人简要笔记，供日后遗忘时翻阅1统计学习统计学习/统计机器学习定义：计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析统计学习目标：考虑学习什么样的模型和如何学习模型
dinkwad·2017-05-10 18:08

logistic回归详解二：损失函数

再加上一个偏置项x0,则每个样本包含n+1维特征：x=[x0,x1,x2,⋯,xn]T其中x∈Rn+1,x0=1,y∈{0,1}李航博士在统计
hk121·2017-05-09 14:22
上一页 53 54 55 56 57 58 59 60 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他