李航统计学习方法

统计学习方法第三章：k近邻法(k-NN),kd树及python实现

统计学习方法第二章：感知机(perceptron)算法及python实现统计学习方法第三章：k近邻法(k-NN),kd树及python实现统计学习方法第四章：朴素贝叶斯法(naiveBayes)，贝叶斯估计及
不晓得X·2018-06-17 17:53

统计学习方法第二章：感知机(perceptron)算法及python实现

统计学习方法第二章：感知机(perceptron)算法及python实现统计学习方法第三章：k近邻法(k-NN),kd树及python实现统计学习方法第四章：朴素贝叶斯法(naiveBayes)，贝叶斯估计及
不晓得X·2018-06-17 16:22

合页损失函数的理解

至于为什么叫这个名字，李航老师的《统计学习方法》上是这么说的：由于函数形状像一个合页，故命合页损失函数。下图为合页损失函数的图像（取自《统计学习方法》）：之前对损失函数的意义一直不是很懂。
goodshot·2018-06-16 12:36

基于pyhton3.6-机器学习实战-AdaBoost代码解释

我主要给大家讲解代码，理论部分给大家推荐3本书：《机器学习实战中文版》《机器学习》周志华《统计学习方法》李航以上3本书，第一本是基于python2的代码实现；剩余两本主要作为第一本书理论省略部分的补充，
Lelouc_CC·2018-06-09 10:14

统计学习方法——感知机学习算法的对偶形式理解。

其实，对偶形式，根据书上就是把参数，以线性组合的方式表现出来，根据书上公式，也就是我们求的是实例x向量组的坐标。（具体公式不罗列）其中，根据书中算法2.2，第（3）步的第一个式子：其中，ni是某例的修改次数，η是学习率。这里第一次看的时候，单看式1的时候，有点难懂，为什么要加η。所以把式1化成如下的形式：这下懂了，其实就是把修改次数+1。
hcf134a·2018-06-08 11:08

KNN算法知识集

数学知识：李航《统计学习方法》，叙述了K邻近算法，K邻近模型和它的三要素（距离度量、K值、分类决策规则），然后讲解了算法实现的数据结构——kd树，和基于这个树的搜索kd树算法。
baoFeng_Li·2018-06-08 10:51

小白机器学习过程

理论积累其实学习资料比较多，书籍有周志华的西瓜书，李航的统计学习，还有学机器学习很经典的PRML，视频网课有吴恩达的机器学习视频，b站上有资源。项目上经验包括可以参加相关的比赛，看相关的书籍。
泡屁屁·2018-06-07 21:25

十分钟理解logistic回归原理

关于逻辑回归的分类算法，很多书籍都有介绍，比较来看，还是**李航老师的书《统计学习方法》**里介绍的更清楚，若大家有时间，请不要偷懒，还是建议从头开始看李航老师的书，这本书简洁明了，适合入门。
石贤芝·2018-06-05 10:01

基于pyhton3.6-机器学习实战-支持向量机SVM代码解释

我主要给大家讲解代码，理论部分给大家推荐3本书：《机器学习实战中文版》《机器学习》周志华《统计学习方法》李航以上3本书，第一本是基于python2的代码实现；剩余两本主要作为第一本书理论省略部分的补充，
Lelouc_CC·2018-06-03 00:00

李航-第5章决策树

决策树的学习算法包特征选择、决策树的生成与决策树的剪枝过程。决策树学习应用信息增益准则选择特征。信息增益大的特征具有更强的分类能力。1、特征选择问题。特征选择是决定用哪个特征来划分特征空间。选择具有分类能力的特征可以调高决策树的学习的效率。熵：表示随机变量不确定性的度量，单位是比特。熵越大，随机变量的不确定性越大。经验熵和条件经验熵：当熵和条件熵中的概率由数据估计（特别是极大似然估计）得到时，所对
瘦长的丰一禾·2018-06-01 22:15

EM算法整理及其python实现

此文转载以供以后查阅学习方便，参考原文请移步链接http://www.hankcs.com/ml/em-algorithm-and-its-generalization.html另外，参考李航老师的《统计学习方法
brave_stone·2018-06-01 15:44

python实现决策树ID3算法的示例代码

在周志华的西瓜书和李航的统计机器学习中对决策树ID3算法都有很详细的解释，如何实现呢？
HelloData·2018-05-30 09:53

决策树ID3算法python实现

在周志华的西瓜书和李航的统计机器学习中对决策树ID3算法都有很详细的解释，如何实现呢？
HelloData·2018-05-29 00:00

启发式算法（Heuristic Algorithm）

背景：李航的《统计学习方法》一书中提到：决策树算法通常采用启发式算法，故了解之问题解答：时间有限，这里也只是将算法和启发式算法的区别和简单发展摘录如下：一、算法和启发式方法之间的差别很微妙，两个术语的意思也有一些重叠
混沌战神阿瑞斯·2018-05-27 20:00

《机器学习实战》AdaBoost方法的算法原理与程序实现

一、引言提升(boosting)方法是一种常用的统计学习方法，应用广泛且有效，在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。
Anthony_Wu·2018-05-26 10:21

感知机的总结及Python实现

重读李航博士的《统计学方法》对感知机做个总结包括感知机原始形式和对偶对偶形式的原理和Python实现。
蓝绿黄红·2018-05-24 10:07

《统计学习方法》笔记（五）逻辑斯蒂回归与最大熵模型

LR回归（LogisticRegression）LR回归，虽然这个算法从名字上来看，是回归算法，但其实际上是一个分类算法。在机器学习算法中，有几十种分类器，LR回归是其中最常用的一个。LR回归是在线性回归模型的基础上，使用sigmoid函数，将线性模型$w_T$x的结果压缩到[0,1]之间，使其拥有概率意义。其本质仍然是一个线性模型，实现相对简单。在广告计算和推荐系统中使用频率极高，是CTR预估模
芦金宇·2018-05-23 14:28

李航-第2章感知机

说白了，感知机就是找到一条直线（称作超平面）用来把两类点分开，这个直线用线性方程表示就是感知机。关键是如何找到分隔两类点的这个（最优）线性方程。感知机模型感知机模型.jpg感知机模型的损失函数因为点到超平面的距离是正的，所以损失函数是非负的。误分类点越少，误分类点离超平面越近，损失函数值就越小。感知机的学习策略就是找到使损失函数最小的参数w,b，也即是找到了感知机模型。损失函数.jpg一些问题：误
瘦长的丰一禾·2018-05-22 22:21

EM算法及算例详解

最近在看贝叶斯相关的论文，里面讲到了EM算法，就把李航的统计学习方法这本书里的有关EM算法的详细推导过程仔细研读一遍，收获颇丰！
随遇而安_小强·2018-05-21 19:39

统计学习方法_2感知机_学习笔记_python实现

一、感知机模型感知机由输入到输出（+1，-1）空间的模型为：其中w、b均为感知机的模型参数，w为权值或权值向量，b为偏置sign是符号函数，即sign(x)在x>=0时取+1，在xx2plt.plot(x1,x2,color='b')foriinrange(len(train_datas)):if(train_datas[i][-1]==1):#画正例点plt.scatter(train_data
HEERY551·2018-05-21 17:12

算法工程师学习流程

1）学习资料：以林轩田的《机器学习基石》、《机器学习技巧》为主，以周志华的《机器学习》、李航的《统计学习方法》为辅。
zhaocen_1230·2018-05-21 15:45

《统计学习方法》感知机学习笔记与Python实现

学习笔记1.感知机模型假设输入空间（特征空间）是X⊆RnX⊆Rn，输出空间是Y={+1,−1}Y={+1,−1}。输入x∈Xx∈X表示示例的特征向量，对应于输如入空间的点；输出y∈Yy∈Y表示示例的类别。由输入空间到输出空间的如下函数f(x)=sign(w⋅x+bf(x)=sign(w⋅x+b成为感知机。其中，ww和bb为感知机模型参数，w∈Rnw∈Rn叫作权重（weight）或权值向量（weig
baixiangxue·2018-05-20 20:05

明日算法工程师の养成之路

学习材料机器学习理论知识的第一本书：《统计学习方法》李航著编程基础的第一本书：《
moonfansLTH·2018-05-18 23:21

统计学习方法读记（中）

统计学习方法读记（中）5、决策树1、决策与学习：一种基本的分类与回归方法，可以认为是if-then的组合，决策树学习包含3步骤：特征选择、决策树的生成和修剪。
刀客123·2018-05-15 22:12

机器学习实战---k近邻算法

kNN算法具体描述可以参见李航的《统计学习方法》kNN算法的伪码过程如下：（1）计算已知类别数据集中的点与当前点之间的距离；（2）按照距离递增次序排序；（3）选取与当前点距离最小的k个点；（4）确定前k
圈圈9527·2018-05-15 00:00

《统计学习方法》学习之三：SVM

一、SVM原理线性可分支持向量机minαs.t.12∑i=1N∑j=1Nαiαjyiyj(xi⋅xj)−∑i=1Nαi∑i=1Nαiyi=00≤αi,i=1,2,⋯,N(37)(38)(39)(37)minα12∑i=1N∑j=1Nαiαjyiyj(xi⋅xj)−∑i=1Nαi(38)s.t.∑i=1Nαiyi=0(39)0≤αi,i=1,2,⋯,N线性支持向量机minαs.t.12∑i=1N∑j
子为空·2018-05-14 18:29

《统计学习方法》学习之番外：Numpy常用函数汇总

1、np.zeros()和np.ones()  这两个函数用于生成指定形状的矩阵,元素全部为0或者全部为1，参数如下：参数shapeintorsequenceofints.Shapeofthenewarray,e.g.,(2,3)or2.一个整数或者一个int类型的序列，表示需要生成的矩阵的形状。|dtype|data-type,optional.Thedesireddata-typeforthe
子为空·2018-05-13 22:21

基于pyhton3.6-机器学习实战-logistic回归代码解释

我主要给大家讲解代码，理论部分给大家推荐3本书：《机器学习实战中文版》《机器学习》周志华《统计学习方法》李航以上3本书，第一本是基于python2的代码实现；剩余两本主要作为第一本书理论省略部分的补充，
Lelouc_CC·2018-05-13 18:44

拉格朗日对偶问题（李航《统计学习方法》）

具体讲解可以去看李航的《统计学习方法》。首先给出一个原始问题，原始问题一般都是带约束条件的，第一步就是利用拉格朗日乘子将原始问题转化为无约束最优化问题。
竹风94·2018-05-12 16:56

SVM(Support Vector Machines)学习笔记

虽然相关知识都来自于西瓜书或者统计学习方法，而不是来自于论文研读（以后有时间最好还是读paper比较好
静墨_婷婷·2018-05-09 15:44

《统计学习方法》学习之二：kd树

（具体内容可以参考李航《统计学习方法》一书）。二、代码实现  这里实现二维平面上的kd树，可以类推到n维特征空间。
子为空·2018-05-08 23:19

《统计学习方法》学习之二：kd树

（具体内容可以参考李航《统计学习方法》一书）。二、代码实现  这里实现二维平面上的kd树，可以类推到n维特征空间。
子为空·2018-05-08 23:19

《统计学习方法》学习之一：感知机

（具体内容可以参考李航《统计学习方法》一书）。
子为空·2018-05-07 20:23

《统计学习方法》学习之一：感知机

（具体内容可以参考李航《统计学习方法》一书）。
子为空·2018-05-07 20:23

《统计学习方法》笔记（二）感知器

感知机是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，感知机是神经网络与支持向量机的基础。假设输入空间（特征空间）是X∈Rn，输出空间是Y={+1,-1}。输入x∈X表示实例特征向量。对应于输出空间（特征空间）的点：输出y∈Y表示实例类别，由输入空间到输出空间的如下函数：f(x)=sign(w*
芦金宇·2018-05-06 20:04

《统计学习方法》笔记（一）概述

如果一个系统能够通过执行某个过程改进它的性能，这就是学习。———赫尔伯特·西蒙统计学习的对象是数据统计学习关于数据的基本假设是同类数据具有一定的统计规律性。统计学习的目的是对数据进行预测和分析。统计学习关于数据的基本假设是同类数据具有一定的统计规律性。统计学习的目的是对数据进行预测和分析。统计学习分为：监督学习，非监督学习，半监督学习，和强化学习统计学习三要素：模型、策略和算法实现统计学习的步骤
芦金宇·2018-05-05 21:01

机器学习中的隐变量和隐变量模型

开篇这篇博客算我自己给自己挖的一个坑，主要想讲讲机器学习中的隐变量，今天在推导EM算法，李航在统计学习方法中的EM引入中提到了隐变量的概念（latentvariable），他提到了如果我们的概率模型的变量都是观测到的变量
Ding_xiaofei·2018-05-05 16:55

机器学习中的隐变量和隐变量模型

开篇这篇博客算我自己给自己挖的一个坑，主要想讲讲机器学习中的隐变量，今天在推导EM算法，李航在统计学习方法中的EM引入中提到了隐变量的概念（latentvariable），他提到了如果我们的概率模型的变量都是观测到的变量
Ding_xiaofei·2018-05-05 16:55

SVM、LR如何做多分类

多项逻辑回归参考文献统计学习方法p80多项逻辑回归又称softmax回归参考文献https://blog.csdn.net/google1989
csdn_lzw·2018-05-02 19:19

统计学习方法 （第4章） 朴素贝叶斯法 学习笔记

第4章朴素贝叶斯法朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。该章叙述朴素贝叶斯法，包括朴素贝叶斯法的学习与分类、朴素贝叶斯法的参数估计算法。4.1朴素贝叶斯法的学习与分类4.1.1基本方法朴素贝叶斯法对条件概率分布做了条件独立性的假设，
pzp1011·2018-05-02 16:06

logistic回归详解(二）：损失函数（cost function）详解 - CSDN博客

再加上一个偏置项x0,则每个样本包含n+1维特征：x=[x0,x1,x2,⋯,xn]T其中x∈Rn+1,x0=1,y∈{0,1}李航博士在统计
·2018-04-29 10:00

Random Forest（sklearn参数详解)

本篇不是介绍RF的，关于RF网上有很多通俗易懂的解释西瓜书与统计学习方法等很多教材中的解释也都足够本篇仅针对如何使用sklearn中的RandomForestClassifier作记录代码案例：classsklearn.ensemble.RandomForestClassifier
Dawei_01·2018-04-28 11:01

概率图之隐马尔科夫模型- - -1（Demo）

一概念这里的例子出自李航著的《统计学习方法》，有兴趣的同学可以去读一下。
秋秋小事·2018-04-28 11:19

统计学习方法（第2章）感知机 学习笔记

第2章感知机感知机是二类分类的线性分类模型，其输入为实例的特征向量，感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机学习算法分为原始形式和对偶形式，是神经网络和支持向量机的基础。1.感知机模型感知机定义：假设输入空间（特征空间）是X，输出空间是Y，Y的取值为+1和-1，输入x表示实
pzp1011·2018-04-26 08:36

第一章统计学习方法概论（四）分类问题、标注问题和回归问题

分类问题：    评估分类器性能的指标一般是分类准确率，其定义是：对于给定的测试数据集，分类器正确分类的样本数和总样本数之比，也就是损失函数是0-1损失时候，测试数据集上的准确率。    对于二类分类问题常用的评价指标是精确率与召回率。通常以关注的类为正类，其他类为负类，分类器在测试数据集上的预测或正确或不正确，4种情况出现的总数分别记作：TP——将正类预测为正类数FN——将正类预测为负类数FP—
灯火阑珊不知处·2018-04-25 17:58

机器学习中常见算法推导总结

本博客基于周志华老师《机器学习》、IanGoodfellow《DeepLearning》、李航老师《统计学习方法》以及网上部分资料，为自己的学习笔记、总结以及备忘录，由于本人刚入门，欢迎大家指出错误。
萝大大大大卜·2018-04-24 22:20

第一章统计学习方法概论（三）泛化能力和生成判别模型

1、泛化能力  学习方法的泛化能力是指由该方法学习到的模型对未知数据的预测能力，是学习方法本质上重要的性质。现实中采用最多的方法是通过测试误差来评价学习方法的泛化能力。但这种评价是依赖于测试数据集的。因为测试数据集是有限的，很有可能由此得到的评价结果是不可靠的。统计学习理论试图从理论上对学习方法的泛化能力进行分析。  泛化误差的定义。如果学到的模型是f∧，那么这个模型对未知数据预测的误差即为泛化误
灯火阑珊不知处·2018-04-23 16:08

机器学习之面试题

提升方法（boosting）是一种常见的统计学习方法，它的理论基础是：强可学习与弱可学习是等价的，在概率近似正确（PAC）学习的框架下：强可学习是一个概念，若存在一个多项式的学习算法能够学习它，并且正确率很高
喂鱼W_y·2018-04-21 13:43

统计学习方法读记（上）

统计学习方法读记（上）1、统计学习：是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科，统计学习也可以称为统计机器学习。
刀客123·2018-04-20 08:53

李航《统计学习方法》第二章-感知机的python实现

重点：感知机是一种二类分类的线性分类模型，属于判别模型。感知机对应于特征空间中的分离超平面w*x+b=0损失函数：误分类点到分离超平面的总距离。学习算法：随机梯度下降法。有原始和对偶两种形式。当训练数据线性可分时，感知机学习算法存在无穷多解，其解由不同初值和迭代顺序而可能不同。实现代码：importnumpyasnpimportmatplotlib.pyplotaspltp_x=np.array(
沙丁鱼鱼鱼·2018-04-17 21:29
上一页 49 50 51 52 53 54 55 56 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他