李航统计学习方法

机器学习实战之Adaboost之机器学习作业记录（三）

好久没更新作业了，，，主要是李航统计学习方法的第八章，准确率80%总感觉不对，先记录到这，，，其中关于概念的理解参考了以下博客，觉得对我很有帮助，记录一下：1234这篇尤其这篇还有这篇这篇这篇这篇这篇这篇这篇然后我的代码放在这里啦
哈哈哈哈士奇VIP·2018-04-15 00:00

统计学习方法之EM算法及其推广

转至：http://www.hankcs.com/ml/em-algorithm-and-its-generalization.html本文是《统计学习方法》第九章的笔记，注解了原著的部分公式推导，补充了另一个经典的双硬币模型
fan_fan_feng·2018-04-14 15:10

SVM个人总结

归纳总结如下：目标：寻求几何间隔最大化平面单位化函数间隔引入拉格朗日函数SMO算法PS：由于公式编辑比较麻烦，所以采用了手写的方式参考资料：《机器学习》-周志华                 《统计学习方法
dt_lizhen·2018-04-13 10:01

统计学习方法笔记——第五章 决策树

决策树是一种基本的分类与回归的方法，这里只讨论其分类过程。分类决策树模型由结点和有向边组成，结点分为内部结点和叶结点，内部结点代表代表一个特征或属性，叶结点代表分类结果。根节点包含着所有的属性，从根节点开始，对实例通过某一特征进行测试，根据测试结果将实例分配到其子节点，如此递归地生成一棵决策树。最后的决策树可用if-then规则来描述。对于三个特征的样本，从根节点到叶结点的一条路径可描述为“若特征
MLearner·2018-04-12 15:22

统计学习方法笔记——第四章 朴素贝叶斯法

朴素贝叶斯法是一种分类方法，基于两个条件：①贝叶斯定理；②特征条件之间相互独立的假设。掌握朴素贝叶斯法的思想，需先掌握概率论的相关内容：条件概率，联合概率分布，先验概率，后验概率，独立性，贝叶斯公式等。1.1朴素贝叶斯法的基本原理朴素贝叶斯法通过训练数据集学习联合概率分布P（X，Y），具体地：①先学习先验概率分布，其中Ck代表不同的类别；②再学习条件概率分布，即在已知类别的条件下，属于某个特征的概
MLearner·2018-04-12 10:38

统计学习方法笔记——第三章 K近邻法

K近邻法（KNN）是一种基本的分类与回归的方法，这里只介绍其分类问题。KNN算法的基本思想：对于一个新的输入数据点，在训练集中找到与它距离最近的K个点，若这K个点中大部分属于A类，则该数据点也属于A类。算法流程：特殊地，若K=1，则相当于离输入实例最近的一个样本实例直接决定了它的类别。KNN模型的三要素：距离度量、K值选择、分类决策规则。距离度量：数据点之间的距离有很多度量标准，一般来说可概括为下
MLearner·2018-04-12 10:50

统计学习方法笔记——第二章 感知机（2）

补充关于线性可分数据集，感知机学习算法的收敛性证明。引入符号：，相当于对权值向量w扩充了一维，用b来扩充。，相当于对输入向量x扩充了一维，用1来扩充。则显然：现已知有一个线性可分的数据集，即存在一个超平面，能将其中所有的数据点都正确地分类。现要证明这个算法是收敛的，即能通过有限次的迭代将这个超平面求出来。对于该超平面，通过对系数的适当放缩，可使得权值向量的模为1。如，若已知该超平面为x+y+1=0
MLearner·2018-04-10 14:29

统计学习方法笔记——第二章 感知机（1）

1.1基本概念感知机是一个二分类的线性分类模型，输入为特征向量，输出为对该特征向量的预测类别，取1或者-1。感知机的形式化定义：其中：①sign（x）为符号函数，若x≥0，则函数值为1，否则为-1；②wx+b中，w叫权值向量，b叫偏置值，wx+b=0称为感知机的分离超平面。如在二维坐标系中，wx+b=0代表一条直线，将平面分成两部分，在三维空间中，wx+b=0代表一个平面，将三维空间分成两部分。1
MLearner·2018-04-10 10:12

统计学习方法笔记——第一章 统计学习方法概论（3）

1模型选择与评估一个模型，若对数据的预测值与真实值很接近，那么便是一个好的模型。换句话说，好的模型对数据的预测能产生更小的误差。而误差分为两种：基于训练集的训练误差和基于测试集的测试误差。训练误差反映的是一个问题是否容易学习，而测试误差才反映了模型对未知数据的预测能力，即测试误差小的模型，它的预测能力也必定更好。对于未知数据的预测能力，我们也称为泛化能力。2过拟合问题过拟合指的是一个模型在训练集上
MLearner·2018-04-08 16:46

统计学习方法笔记——第一章 统计学习方法概论（1）

1.1基本概念统计学习是计算机基于数据构建概率统计模型并用该模型进行预测与分析的一门学科，也称统计机器学习。统计学习的特点：建立在计算机网络之上，以数据为驱动进行建模并预测分析的一门学科。是概率论、统计学、信息论、最优化等多领域相结合的交叉学科。统计学习的对象：数据。统计学习的目的：通过概率建模来挖掘已知数据中蕴含的内在规律，并以此来指导对未知数据的预测与分析。统计学习的组成：监督学习、半监督学习
MLearner·2018-04-08 10:23

工匠精神

开源项目经验基础理论数据结构数据库计算机网络操作系统软件工程算法应用理论机器学习分布式计算并行计算工具追热点Tensorflow，Hadoop/Spark，XGBoost，区块链场景计算广告～算法的三重境界1.跑模型2.选模型、改模型3.制定目标函数掌握内容李航
熊孩子是我·2018-04-01 23:01

蓝皮书系列 之感知机

Parti算法详解=================感知机对偶形式伪代码=====================输入：线性可分数据集X，标签y，学习率η输出：输出α，b；以及决策界面：图片来源于《统计学习方法
脑荼地·2018-03-31 21:02

统计学习方法—4.朴素贝叶斯法

概要：朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法，属于生成模型。学习过程：对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布，然后基于此模型对于给定的输入X，利用贝叶斯定理求出后验概率最大的输出类别。朴素贝叶斯法实现简单，学习和预测的效率都很高。1.计算步骤：（1）类概率（2）类条件概率（3）求后验概率最大的类别作为最终预测结果。2.贝叶斯估计（拉普拉斯平滑）—
ZYXpaidaxing·2018-03-31 00:32

统计学习方法—2.感知机

概要：感知机是二类分类（-1，+1）、线性分类模型，属于判别模型，旨在求出将训练数据进行线性划分的分离超平面。感知机的优点是简单易于实现，分为原始形式和对偶形式。感知机是神经网络与支持向量机的基础。1.线性可分：对于一个数据集，如果存在某个超平面S能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧，则称该数据集为线性可分。2.感知机学习的前提假设是数据集线性可分，感知机存在无穷多个解（由
ZYXpaidaxing·2018-03-31 00:36

逻辑回归模型（一）——数学模型

学习李航的《统计学习算法》,今天周三，这周任务之一完成逻辑回归模型的博文记录。逻辑回归（LogisticRegression）属于分类方法（classification）。
Amy_mm·2018-03-29 17:16

逻辑回归模型（一）——数学模型

学习李航的《统计学习算法》,今天周三，这周任务之一完成逻辑回归模型的博文记录。逻辑回归（LogisticRegression）属于分类方法（classification）。
Amy_mm·2018-03-29 17:16

Python 机器学习_基于朴素贝叶斯分类的MNIST手写数字识别

最近在学习机器学习，总觉得只学习理论的话，对于很多问题的理解不够深入，话不多少，见下：首先推荐李航的《统计学习方法》小蓝书，对于贝叶斯理论部分讲解的很清楚，可自行翻阅（李航书上有小栗子，可以手动算一算，
一只特立独行的喵喵喵·2018-03-29 15:53

统计学习方法之k近邻法：kd树

k近邻就像近朱者赤近墨者黑一样，李航老师的《统计学习方法》中k近邻模型由距离度量、k值的选择和分类决策规则决定。
Da_n_n_y·2018-03-28 15:42

kd-tree的python实现

当时正在看李航老师的《统计学习方法》一书，看到kNN算法和kd-tree之间的关系，非常有兴趣进行深入了解，所以汇总了一些资料，后面由于实际工作中用不到，就放下了。
MachineLearning-ZJU·2018-03-28 00:14

《统计学习方法》(李航)读书笔记(完结)

因为要准备面试,本文以李航的《统计学习方法》为主,结合西瓜书等其他资料对机器学习知识做一个整理.知识点进程和线程:进程和线程都是一个时间段的描述，是CPU工作时间段的描述，不过是颗粒大小不同.进程就是包换上下文切换的程序执行时间总和
Limitlessun·2018-03-26 21:00

统计学习方法（九）EM算法及其推广

第九章EM算法及其推广9.1EM算法的引入9.1.1EM算法9.1.2EM算法的导出9.1.3EM算法在非监督学习中的应用9.2EM算法的收敛性第九章EM算法及其推广EM算法是一种迭代算法，用于含有隐变量（hiddenvariable）的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步（求期望）+M步（求极大值）EM算法：期望极大算法（expectationmax
呆呆的猫·2018-03-26 20:20

机器学习之路——《统计学习方法》（一）

最近开始阅读李航老师的经典著作《统计学习方法》，现将其中自认为较为重要的点写出来，一个是作为回忆复习，二一个是希望能够分享给更多人。第一次写博客，如有错误，希望多包涵。
leon710·2018-03-25 23:37

python实现隐马尔科夫模型HMM

一份完全按照李航>介绍的HMM代码，供大家参考，具体内容如下#coding=utf8'''''Createdon2017-8-5里面的代码许多地方可以精简，但为了百分百还原公式，就没有精简了。
adzhua·2018-03-25 11:53

统计学习方法之感知机算法对偶形式_李航

刚学习了感知机算法，简单用java实现了一下书中的例题。感觉对偶形式除了可以提高性能，更能体现每个实例对学习结果的影响大小。publicclassSensor_2{publicstaticint[]a=newint[3];publicstaticintb=0;publicstaticintt=0;//获得实例之间的內积Gram矩阵publicstaticint[][]getGram(int[][]
Da_n_n_y·2018-03-24 13:31

统计学习方法之感知机算法对偶形式_李航

刚学习了感知机算法，简单用java实现了一下书中的例题。感觉对偶形式除了可以提高性能，更能体现每个实例对学习结果的影响大小。publicclassSensor_2{publicstaticint[]a=newint[3];publicstaticintb=0;publicstaticintt=0;//获得实例之间的內积Gram矩阵publicstaticint[][]getGram(int[][]
Da_n_n_y·2018-03-24 13:31

统计学习方法之感知机_李航

感知机的前提是假定数据集线性可分，通过不断更新w,b的值使损失函数最小。感知机学习算法的原始形式代码如下：importjava.util.HashMap;importjava.util.Iterator;importjava.util.Map;publicclassSensor_1{publicstaticint[]w=newint[2];publicstaticintb=0;publicstat
Da_n_n_y·2018-03-24 13:48

python 实现 Peceptron Learning Algorithm ( 二) 感知机模型实现

参考书籍《pythonmachinelearning》对代码进行详细的注释，注释参考《统计学习方法》以及博客http://blog.csdn.net/zhq0808/article/details/68961329GIT
Amy_mm·2018-03-21 21:53

《统计学习方法》读书笔记-----决策树：CART算法

0.概述分类与回归树（classificationandregressiontree,CART）模型由Breiman等人在1984年提出，是应用广泛的决策树学习方法，既可以用于分类也可以用于回归。CART是在给定输入随机变量XX条件下输出随机变量YY的条件概率分布的学习方法。主要由以下两步组成：（1）决策树生成：基于训练数据集生成决策树，生成的决策树要尽量大。（2）决策树剪枝：用验证数据集对已生成
fxlou·2018-03-18 09:30

1 机器学习数学总结

参考：《深度学习》、《机器学习》-周志华、《统计学习方法》-李航。
chenxl929·2018-03-15 17:35

machine learning资料总结与心得

://ufldl.stanford.edu/wiki/index.php/UFLDL教程七月在线创始人的博客：http://blog.csdn.net/v_july_v……书：《PRML》周志华西瓜书李航
code_caq·2018-03-13 21:48

统计学习方法相关问题

统计学习方法相关问题1.概率与统计的关系如何？http://blog.sciencenet.cn/blog-242272-1036214.html2.似然与概率之间的关系如何？
姜上先生·2018-03-12 16:34

感知机--《统计学习方法》第二章

感知机模型：线性分类模型(属于判别模型)，策略：算法：梯度下降法模型：由输入空间到输出空间的函数：f(x)=sign(wx+b)f(x)=sign(wx+b)，其中w是权值向量，b是偏置。wx+b=0wx+b=0对应特征空间中的一个超平面S，w是超平面的法向量，b是超平面的截距。这个超平面将特征空间划分为两个部分，位于两部分的点分别被分为正负两类，因此超平面S被称为分离超平面。学习策略：前提假设:
Icevivina·2018-03-12 11:33

李航《统计学习方法》第四章课后答案链接

李航《统计学习方法》第四章课后答案链接本博客转载自：http://blog.csdn.net/xiaoxiao_wen/article/details/54097917
Allenlzcoder·2018-03-12 11:59

【笔记】《统计学习方法》(7)支持向量机

简书：https://www.jianshu.com/p/eb9d50312de8第7章支持向量机支持向量机(supportvectormachines,SVM)是一种二类分类模型基本模型是定义在特征空间上的间隔最大的线性分类器，区别于感知机核技巧使其成为实质上的非线性分类起学习策略是间隔最大化，形式化为求解凸二次规划问题，等价于正则化的合页损失函数最小化问题学习算法是求解凸二次规划的最优化算法线
煎饼证·2018-03-10 16:25

李航《统计学习方法》——第八章 提升方法

提升方法就是组合一系列弱分类器构成一个强分类器，AdaBoost是其代表性算法AdaBoost算法适用问题：二类分类，要处理多类分类需进行改进代码(用sklearn实现)：#encoding=utf-8importpandasaspdimporttimefromsklearn.cross_validationimporttrain_test_splitfromsklearn.metricsimpo
fuqiuai·2018-03-10 13:47

李航《统计学习方法》——第七章 支持向量机

由于网上资料很多，这里就不再对算法原理进行推导，仅给出博主用Python实现的代码，供大家参考适用问题：二类分类实验数据：二分类的数据train_binary.csvSVM有三种模型，由简至繁为当训练数据训练可分时，通过硬间隔最大化，可学习到硬间隔支持向量机，又叫线性可分支持向量机当训练数据训练近似可分时，通过软间隔最大化，可学习到软间隔支持向量机，又叫线性支持向量机当训练数据训练不可分时，通过软
fuqiuai·2018-03-10 13:09

李航《统计学习方法》——第五章 决策树模型

由于网上资料很多，这里就不再对算法原理进行推导，仅给出博主用Python实现的代码，供大家参考适用问题：多类分类三个步骤：特征选择、决策树的生成和决策树的剪枝常见的决策树算法有：ID3：特征划分基于信息增益C4.5：特征划分基于信息增益比CART：特征划分基于基尼指数测试数据集：train.csvID3算法代码：#encoding=utf-8importcv2importtimeimportnum
fuqiuai·2018-03-10 13:28

李航《统计学习方法》——第二章 感知机模型

由于网上资料很多，这里就不再对算法原理进行推导，仅给出博主用Python实现的代码，供大家参考适用问题：二类分类实验数据：由于是二分类器，所以将MINST数据集train.csv的label列进行了一些微调，label等于0的继续等于0，label大于0改为1。这样就将十分类的数据改为二分类的数据。获取地址train_binary.csv实现代码：#encoding=utf-8importpand
fuqiuai·2018-03-10 13:48

机器学习入门之《统计学习方法》笔记整理——支持向量机

支持向量机  支持向量机(supportvectormachines,SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划(convexquadraticprogramming)的问题，也等价于正则化的合页损失函数的最小化问。支持向量机的学习算法是求
Quanfita·2018-03-08 19:44

李航《统计学习方法》第二章课后答案链接

李航《统计学习方法》第二章课后答案链接李航统计学习方法第二章课后习题答案http://blog.csdn.net/cracker180/article/details/78778305
Allenlzcoder·2018-03-05 22:37

决策树学习之概念理解和代码实现

前言：在学习《python数据挖掘入门与实践》的决策树球队预测后，为了更好的了解决策树学习，我又阅读了李航老师的《统计学习方法》决策树章节内容。这本书被许多大神极力推荐，我在阅读后也发现确实不负盛名。
baoFeng_Li·2018-03-05 22:39

《统计学习方法》笔记一

一统计学习方法概论1.1统计学习学习：一个系统能够通过执行某个过程而得到性能的提升，那么这个过程就是学习。
chucksonwheel·2018-03-05 09:42

【机器学习笔记四】分类算法 - 逻辑回归

参考资料【1】SparkMLlib机器学习实践【2】统计学习方法1、Logistic分布设X是连续随机变量，X服从Logistic分布是指X具有下列分布函数和密度函数，。
Fredric_2013·2018-03-03 11:00

【机器学习笔记二】回归分析 - 随机梯度下降

参考资料：【1】SparkMLlib机器学习实践【2】机器学习之梯度下降http://www.cnblogs.com/rcfeng/p/3958926.html【3】统计学习方法1、回归分析概念在统计学中
Fredric_2013·2018-03-03 10:00

TensorFlow深度学习框架学习（二）：TensorFlow实现线性支持向量机（SVM）

SVM的原理可以参考李航的《统计学习方法》具体代码如下，代码都有注释的#1、导入必要的库importmatplotlib.pyplotaspltimportnumpyasnpimporttensorflowastffromsklearnimportdatasets
宝蓓·2018-02-28 16:14

独立同分布

最近在复读李航的统计学方法，又看到了“独立同分布”，觉得好奇，就开始了这个知识点的整理；首先看看百度百科对于独立同分布的解释：独立同分布independentandidenticallydistributed
Python技术博文·2018-02-25 00:00

独立同分布

最近在复读李航的统计学方法，又看到了“独立同分布”，觉得好奇，就开始了这个知识点的整理；首先看看百度百科对于独立同分布的解释：独立同分布independentandidenticallydistributed
Python技术博文·2018-02-25 00:00

机器学习入门之《统计学习方法》笔记——朴素贝叶斯法

  朴素贝叶斯(naiveBayes)法是基于贝叶斯定理与特征条件独立假设的分类方法。目录朴素贝叶斯法参数估计极大似然估计学习与分类算法算法朴素贝叶斯算法贝叶斯估计小结参考文章朴素贝叶斯法  设输入空间X⊆RnX⊆Rn为nn维向量的集合，输出空间为类标记集合Y={c1,c2,...,cK}Y={c1,c2,...,cK}，输入特征向量x∈Xx∈X，输出类标记为y∈Yy∈Y，P(X,Y)P(X,Y)
Quanfita·2018-02-21 19:58

你也想念经吗

王明明第二次和李航闹分手未遂我跟她讲了很多大道理“家家有本难念的经”在我眼里看来李航很好了但是在王明明眼里我的男朋友好像更棒一点点我跟她很认真的讲王畅同学也经常不理我出门嫌手冷日常不给我回消息有时候发朋友圈发微博也不见得会理我最过分一次答应好我会回我消息结果出去一路不理人我视频哭了一个半点还吵了一架有时候因为他心情不好会跟我闹脾气心情不好就不理人起床有时候也不跟人说
赴江北·2018-02-19 13:50

交叉验证与训练集、验证集、测试集

参考：李航–《统计学习方法》https://www.jianshu.com/p/7e032a8aaad5https://zhuanlan.zhihu.com/p/20900216?
chaolei_9527·2018-02-06 15:20
上一页 50 51 52 53 54 55 56 57 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他