李航统计学习方法

统计学习方法——感知机

目录感知机的关键词感知机的原理为什么不能解决异或(XOR)问题补充知识感知机是机器学习的最基本模型之一，是神经网络和支持向量机的基础。感知机的关键词二分类判别模型、线性模型数据集线性可分时，有无穷多个解无法解决XOR问题感知机的原理感知机是根据数据实例的特征向量x对其进行二类分类的线形分类模型，输出为+1或-1。感知机的函数为：f(x)=sign(w⋅x+b)f(x)=sign(w·x+b)f(x
_春天_·2019-06-25 22:59

K近邻算法的python实现

具体的模型理论见：统计学习方法——K近邻法（原始方法）1.K近邻算法的实现在算法实现的过程中，利用的是欧氏距离进行点与点之间的距离度量。
乖乖的函数·2019-06-25 00:00

深度学习书籍和视频资源推荐

深度学习的学习资源备份，以下为我个人认为较好的资料：深度学习书籍：动手学深度学习本书适用MXnet《机器学习训练秘籍》(中文版)《统计学习方法》李航（这本我没看过）《深度学习》Iangoodfellow
HaruStone·2019-06-21 13:35

机器学习笔记（8）

学习打卡内容：阅读《李航统计学习方法》中p55-p58页总结决策树模型结构理解决策树递归思想阅读《李航统计学习》中p58-p63页学习信息增益学习信息增益率阅读《李航统计学习》中p63-65页学习ID3
trying52·2019-06-20 20:45

（李航统计学习方法）SVM的python实现

支持向量机是一种二分类模型，基本模型是定义在特征空间的间隔最大的线性分类器。间隔最大化使它有别于感知机。在面试中，经常遇到手推SVM，所以公式的推导也很重要。模型：策略：间隔最大化，形式化为求解凸二次规划，等价于正则化的合页损失函数最小化算法：略支持向量机包括：线性可分支持向量机，线性支持向量机，非线性支持向量机间隔最大化的直观解释：对训练数据集找到几何间隔最大的超平面意味着以充分大的确信度对训练
Rudy95·2019-06-19 17:28

《统计学习方法》第 14 章 聚类方法 KMeans

kmeans.gifk-均值聚类n个样本分到k个不同的类或簇，每个样本到其所属类的中心的距离最小。每个样本只能属于一个类，所有k-均值聚类是硬聚类。模型k
iOSDevLog·2019-06-19 17:55

EM算法-统计学习方法（李航）

这里是做HMM前期学习的EM算法，这里学习了几篇文章，但是始终只懂了原理无法进行实例计算，这里学习了统计学习方法后对EM算法算是可以串出来计算了。
JerryLoveCoding·2019-06-18 17:24

《统计学习方法》读书笔记一

今天开始学习李航老师的统计学习方法一书，在学习过程中，一些比较重要或值得探讨的点会写成博客，与大家分享或共同讨论。统计学习方法是基于数据构建统计模型从而对数据进行预测与分析。
Mr_LiShao·2019-06-17 09:12

统计学习方法思路疏导—逻辑回归与最大熵

二项逻辑回归二项逻辑回顾是分类模型，由条件概率P(Y|X)表示，其中随机变量X取值为实数，而随机变量Y取值为1或0模型公式逻辑回归公式.jpg模型参数估计逻辑回归的参数模型一般使用梯度下降函数来求解参数w这里说一下似然估计，似然估计是利用已知的样本集反推最有可能导致结果的参数值，即什么参数会导致训练集的呈采集数据那样分布的。比如有一个训练集X，我们通过对X进行反推去找出让训练集呈现如同X一样分布的
wipping的技术小栈·2019-06-15 20:57

（李航统计学习方法）逻辑回归

逻辑回归是参数模型，其本质是假设数据服从伯努利分布，通过极大似然函数的方法，运用梯度上升/下降法来求解参数，从而实现数据的二分类。逻辑回归模型在面试的过程中，最常问到的就是公式的推导过程。所以，手撕公式，很重要。首先介绍的是逻辑斯蒂分布：X是连续随机变量，X服从逻辑斯蒂分布。逻辑斯蒂分布的分布函数与密度函数如下：**二项逻辑斯蒂回归模型**它是一种分类模型，由条件概率P（Y|X）表示，形式为参数化
Rudy95·2019-06-13 15:27

Machine_Learning_2019_Task 8 决策树

Machine_Learning_2019_Task8决策树ID3（基于信息增益）C4.5（基于信息增益比）CART（Gini指数）扩充：学习CART的生成(回归树模型)【参考统计学习方法】熵：H(x)
Hirotransfer·2019-06-11 15:12

【笔记】统计学习方法—EM算法

文章目录1.EM是什么1.1E：求期望1.2M：极大2.代码1.EM是什么EM是含有隐变量的概率模型的极大似然估计回极大后验概率估计的迭代算法。假设：P(Y∣θ)=∏[πpyi(1−p)1−yi+(1−π)qyi(1−q)1−yi]P(Y|\theta)=\prod[\pip^{y_i}(1-p)^{1-y_i}+(1-\pi)q^{y_i}(1-q)^{1-y_i}]P(Y∣θ)=∏[πpyi(
贫僧不懂·2019-06-11 11:45

[笔记]统计学习方法—提升办法AdaBoost算法

文章目录1.adaboost算法1.1提升方法的基本思路1.2AdaBoost算法1.3很硬核的证明adaboost是前向分步算法。2.提升树2.2梯度提升3.几个数学计算4.sklearn里面的adaboost函数1.adaboost算法1.1提升方法的基本思路主要解决两个问题：如何每一轮都改变训练数据的权值或概率分布；如何将弱分类器组合成强分类器。adaboost的做法是提高上一轮错误分类数据
贫僧不懂·2019-06-09 22:30

《统计学习方法》第 2 章 感知机 可视化

slmethod_perceprton.gif源码：https://github.com/iOSDevLog/slmethod原理假设输入空间（特征空间）是，输出空间是模型称为感知机。和为感知机模型参数叫作权重/权值（weight）或权值向量（weightvector）叫作偏置（bias）表示和的内积是符号函数策略假设训练数据集是线性可分的感知机学习的目标是求得一个能够将训练集正实例点和负实例点完
iOSDevLog·2019-06-08 03:58

《统计学习方法》第 2 章 感知机 与 sklearn 对比

StatisticalLearningMethod统计学习方法https://pypi.org/project/slmethod/importnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.datasetsimportmake_classification
iOSDevLog·2019-06-06 18:45

李宏毅机器学习 Machine_Learning_2019_Task 6

李宏毅机器学习Machine_Learning_2019_Task6学习要求公式手动推导不掉包，手动实现算法独立手动创建数据，实现分类任务学习算法内容，对数据进行归一化操作主要是学习LR算法的核心代码学习内容李航机器学习机器学习实战负责人笔记方案
Hirotransfer·2019-06-02 15:31

3.统计学习方法—logistic regression

文章目录1.logistic模型1.2.参数估计1.3案例及代码1.4sklearn调包实现1.logistic模型回归模型：f(x)=11+e−wxf(x)=\frac{1}{1+e^{-wx}}f(x)=1+e−wx1其中wx线性函数：wx=w0∗x0+w1∗x1+w2∗x2+...+wn∗xn,(x0=1)wx=w_0*x_0+w_1*x_1+w_2*x_2+...+w_n*x_n,(x_0
贫僧不懂·2019-06-01 21:10

中文序列标注系列（绪）

关于序列标注的统计学习方法主要是HMM，MEMM，CRF，在前
Amy_mm·2019-05-31 23:21

《统计学习方法》笔记-统计学习方法概论-1

统计学习的定义、研究对象与方法监督学习，这是本书的主要内容统计学习方法的三要素模型策略算法模型选择正则化交叉验证学习的泛化能力生成模型与判别模型监督学习方法的应用分类问题标注问题回归问题。
iOSDevLog·2019-05-30 23:03

统计学习方法学习笔记4——决策树模型

目录1.概述2.决策树的优缺点：2.1.决策树的优点：2.2.决策树的缺点：3.决策树算法模型3.1.特征选择的准则3.2.树的生成3.3.树的剪枝4.决策树在sklearn中的类4.1.分类4.2.回归5.书本案例sklearn实现1.概述决策树是一种用来分类和回归的无参监督学习方法，其目的是创建一种模型从数据特征中简单的决策规则来预测一个目标变量的值；决策树的宗旨在于构建一个与训练数据集你和比
ChaucerG·2019-05-30 20:21

机器学习西瓜书（周志华）第六章 支持向量机（SVM）

第六章支持向量机主要参考李航的统计学习方法1.概述2.感知机3.间隔与支持向量3.1间隔3.2支持向量4.SVM模型目标函数与优化5.线性可分支持向量机的算法过程6.线性支持向量机6.1线性支持向量机的软间隔最大化目标函数的优化
视界IT·2019-05-30 00:00

李航《统计学习方法》第二版 目录

李航博士告诉机器之心，《统计学习方法》第二版新加了无监督学习方面的内容，并对第一版的监督学习方法做了一些修改。总体而言，第二版可以分为监督学习和无监督学习两篇。
ctrigger·2019-05-29 20:26

深度学习入门学习不完全推荐

深度学习入门学习不完全推荐一、深度学习书籍推荐：《深度学习（DeepLearning）》深度学习的圣经，偏理论基础《机器学习》周志华西瓜书《统计学习方法》(李航)《TensorFlow技术解析与实战》李嘉璇
Snowy_susu·2019-05-28 16:19

（李航统计学习方法）感知机Python实现

机器学习的三要素：模型，策略，算法模型：感知机是二分类线性分类模型，属于判别模型。策略：基于误分类点到超平面的总距离。学习算法：略感知机存在的问题：存在多解，解依赖于初始超平面的选择以及迭代过程中误分类点的选择。训练集线性不可分，算法无法收敛，解决方法：pocket算法或者使用核函数。无法解决异或问题Python代码实现：importnumpyasnpdeftrain(X_train,Y_trai
Rudy95·2019-05-28 11:23

支持向量机学习笔记

支持向量机学习笔记参考书籍《统计学习方法》基本概念的理解关于3个空间一个学习算法通常有3个空间：输入空间--变换–>特征空间—模型–>输出空间输入空间是指输入的所有可能的取值的集合输出空间是指输出的所有可能的取值的集合特征空间是指表示实例也就是具体输入的特征向量所在的空间有的算法中输入空间没有变换成特征空间
ace2020·2019-05-22 17:57

关于感知机原始形式的损失函数梯度的推导

关于感知机原始形式的损失函数梯度的推导参考《统计学习方法》感知机学习算法的原始形式中，L(w,b)对于w,b的梯度是如何计算出来的有点不懂，就自己推导了一下。
ace2020·2019-05-22 16:41

李航，统计学习方法- 朴素贝叶斯：

'''数据集：Mnist训练集数量：60000测试集数量：10000------------------------------运行结果：正确率：84.3%运行时长：103s'''importnumpyasnpimporttimedefloadData(fileName):'''加载文件:paramfileName:要加载的文件路径:return:数据集和标签集'''#存放数据及标记dataArr
唯我视你为青山·2019-05-22 13:42

李航，统计学习方法-感知机原理剖析及实现

统计学习方法|感知机原理剖析及实现代码写思路很清晰，膜拜下importnumpyasnpimporttimedefloadData(fileName):'''加载Mnist数据集:paramfileName
唯我视你为青山·2019-05-22 09:09

机器学习实现原理分析(一) —— SOM简述版

代码参考：https://github.com/apachecn/AiLearning/blob/master/blog/ml/6.支持向量机.md其他内容主要参考李航《统计学习方法》以下是函数的输入输出
馒头饺子·2019-05-19 20:41

《统计学习方法》第 7 章“支持向量机”学习笔记

我这篇笔记主要是介绍李航的《统计学习方法》第7章内容，以笔记的方式呈现。需要说明的是，为了使得本文尽量易懂，我把书上的一些标题或者专有名词做了更改，只是为了帮助初学的朋友们的理解。
李威威·2019-05-17 16:56

《统计学习方法》第 7 章“支持向量机”学习笔记

我这篇笔记主要是介绍李航的《统计学习方法》第7章内容，以笔记的方式呈现。需要说明的是，为了使得本文尽量易懂，我把书上的一些标题或者专有名词做了更改，只是为了帮助初学的朋友们的理解。
李威威·2019-05-17 16:13

感知机的对偶形式及Gram矩阵的作用理解 通俗易懂

学习李航《统计机器学习》的时候，看到感知机的对偶形式这里不甚理解，其实主要是对其中的系数更新规则不是很理解。另外，只介绍了Gram矩阵，也没有说清楚Gram矩阵的作用。
jieshaoxiansen·2019-05-17 15:19

《统计学习方法》第 4 章“朴素贝叶斯法”学习笔记

概率有向图模型朴素贝叶斯也是最简单的概率有向图模型。生成模型与判别模型朴素贝叶斯方法实际上学习到的是生成数据的机制。1、关于生成模型和判别模型，我一开始也很迷糊，后来我发现只要记住一点：生成模型首先是概率模型，要计算后验概率，但不是直接计算后验概率，得先通过计算联合概率，然后比较联合概率的大小，间接比较（得到）后验概率的大小。2、判别模型则直接对条件概率建模，有点判别模型不是概率模型，直接给出分类
李威威·2019-05-17 14:57

《统计学习方法》第 2 章“感知机”学习笔记

感知机模型感知机是《统计学习方法》的介绍的第1个算法，是神经网络与SVM的基础。
李威威·2019-05-17 14:44

干货《周志华机器学习详细公式推导版》发布，南瓜书pumpkin-book

相信大家同我一样，非李航的《统计学习方法》和周志华的《机器学习》莫属。周志华老师的《机器学习》，自2016年1月底出版以来，首印5000册一周售罄，并在8个月内重印9次，累计72000册。
weixin_33910759·2019-05-15 05:09

李航《统计学习方法》第二版：6年耕耘增加无监督学习

此前，李航老师完成的《统计学习方法》是了解机器学习最好的教材之一，该书从2005年开始写作一直到2012年完成，包含了众多主要的监督学习算法与模型。
enohtzvqijxo00atz3y8·2019-05-11 07:00

【统计学习方法by李航】第二章 感知机 个人总结

第二章感知机一、感知机模型[2.1]（一）定义2.1(二)几何解释二、感知机学习策略[2.2]（一）数据集的线性可分型[2.2.1]（二）感知机学习策略[2.2.2]1、把点到直线距离公式摆上来，代入超平面方程2、为了去掉绝对值，我们现在看看误分类数据有什么特点3、推广到多个点（三）损失函数特性三、感知机学习算法[2.3]（一）感知机学习算法的原始形式[2.3.1]1、梯度下降法的几何解释：通过*
Artlex·2019-05-11 00:23

python 实现逻辑斯谛回归（logistic regression）

4cf34bf158a1https://blog.csdn.net/c406495762/article/details/77723333这两篇博客在训练模型时采用的公式是：，也就是代码中的实现方法二，另外自己也根据李航
Tomator01·2019-05-08 13:52

K-近邻法

内容来源于李航博士《统计学习方法》一、k近邻算法什么是k近邻k近邻算法简单、直观：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类
阿尔法小队·2019-05-06 21:21

统计学习方法 - 第二章 - 感知机

第二章感知机文章目录第二章感知机2.1感知机模型2.2感知机学习策略2.3感知机学习算法2.1感知机模型感知机算法在输入空间内找到一个超平面SSS：w⋅x+b=w^⋅x^=0w\cdotx+b=\hatw\cdot\hatx=0w⋅x+b=w^⋅x^=0由函数：f(x)=sign(w^⋅x^)f(x)=sign(\hatw\cdot\hatx)f(x)=sign(w^⋅x^)给出样本的标签。其中w
cnyanpan·2019-05-05 20:54

《统计学习方法》第2章 感知机

感知机（perceptron）是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和–1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机学习算法具有简单而易于实现的优点，分为原始形式和对偶形式。
smilife_·2019-05-04 09:28

生成模型和判别模型

参考李航《统计机器学习》监督学习常见的问题是学习一个模型对于输入空间的变量x预测其在输出空间对应的变量y。
YangHongChao001·2019-04-30 23:55

深度学习Tensorflow相关书籍推荐和PDF下载

1.机器学习入门经典《统计学习方法》pdf下载链接:https://pan.baidu.com/s/1o99BsV4密码:b2ul2.周志华的《机器学习》pdf下载链接:https://pan.baidu.com
ctrigger·2019-04-30 08:10

《统计学习方法》第四章：朴素贝叶斯 ——python实现

理论推导:https://blog.csdn.net/ACM_hades/article/details/89677342数据集数据集：MNIST数据，图片大小是28×28的，10个类别，使用数据的原始特征，所有每个样本有28×28=784个特征。朴素贝叶斯比较适合特征维度较小的情况，但是MNIST数据已到达上百唯的特征,概率联乘起来超过Pythonfloat能表示的极限，由于Python浮点数精
大白菜—NLP·2019-04-29 21:37

《统计学习方法》：第四章：朴素贝叶斯

该章结构一、朴素贝叶斯的学习和分类二、朴素贝叶斯的参数估计算法1、极大似然估计：2、贝叶斯估计：一、朴素贝叶斯的学习和分类假设训练集：T={(x1,y1),(x2,y2),…,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),…,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)};由联合概率分布P(X,Y)P(X,Y)P(X,Y)产生。其中x
大白菜—NLP·2019-04-29 16:15

python 实现CART算法决策树

#-*-coding:utf-8-*-#Decisiontreebycart决策树，cart算法，算法参考李航《统计学习方法》P71#author:Tomatorimportnumpyasnpimportmathfromsklearn.mo
Tomator01·2019-04-28 20:52

机器学习(1):绪论

原文链接：机器学习(1):绪论|远行的舟参考文献：①周志华.机器学习[M].北京:清华大学出版社.2016.01.②李航.统计学习方法[M].北京:清华大学出版社.2012.03.周志华教授在其所著《机器学习
tiny-boat·2019-04-24 23:13

《统计学习方法》第二章：感知机 ——python实现

参考链接感知机理论推导:https://blog.csdn.net/ACM_hades/article/details/89496175数据链接:https://github.com/WenDesi/lihang_book_algorithm/blob/master/data代码数据集：我们选择MNIST数据集进行实验，它包含各种手写数字(0-9)图片，图片大小28*28。MNIST数据集本身有1
大白菜—NLP·2019-04-24 19:43

《统计学习方法》：第二章：感知机

该章结构一、感知机模型：二、感知机的学习策略：三、感知机的学习算法：一、感知机模型：感知机:是二分类的线性分类模型，输入为：实例的特征向量，输出：实例类别(-1和+1)。感知机旨在：学习一个分离超平面，将训练数据进行线性划分。1、感知机定义假设：输入空间为X∈RnX∈R^nX∈Rn，输出空间为Y∈{−1,+1}Y∈\{-1,+1\}Y∈{−1,+1}，输入实例的特征向量为：x∈Xx∈Xx∈X它对应
大白菜—NLP·2019-04-24 16:15

《统计学习方法》：第二章：感知机

该章结构一、感知机模型：二、感知机的学习策略：三、感知机的学习算法：一、感知机模型：感知机:是二分类的线性分类模型，输入为：实例的特征向量，输出：实例类别(-1和+1)。感知机旨在：学习一个分离超平面，将训练数据进行线性划分。1、感知机定义假设：输入空间为X∈RnX∈R^nX∈Rn，输出空间为Y∈{−1,+1}Y∈\{-1,+1\}Y∈{−1,+1}，输入实例的特征向量为：x∈Xx∈Xx∈X它对应
大白菜—NLP·2019-04-24 16:15
上一页 42 43 44 45 46 47 48 49 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他