统计学习方法第28页

对模式识别和机器学习的一点感悟

现在而言，机器学习中的大多数方法都是统计学习方法。但这不代表机器学习等同于统计学习。只是统计学习在现在的机器学习中占了主流而已。

epleone·2020-07-14 10:29

统计学习方法李航---第9章 EM算法及其推广

第9章EM算法及其推广EM算法是一种迭代算法，用于含有隐变量(hiddenvariable)的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望(expectation)；M步，求极大(maximization)，所以这一算法称为期望极大算法(expectationmaximizationalgorithm)，简称EM算法。9.1EM算法的引入一般地，用Y表

dazhichang6061·2020-07-14 09:42

《统计学习方法》书摘1

第1章统计学习方法概要写在前面：该系列博客旨在复习和整理李航老师的《统计学习方法》一书的内容和笔记。

comeonkimi06·2020-07-14 09:50

《统计学习方法》（李航）第二版第一章总结

统计学习方法三要素：模型、策略、算法。监督学习可以概括如下：从给定有限的训练数据出发，假设数据是独立同分布的，而且假设模型属

NaLi_champion·2020-07-14 06:52

EM算法为什么可视为F函数的极大-极大算法？

（本人知乎同名账号亦发了此文）读前须知本文面向读者为：正在看李航的《统计学习方法》，看到9.4.1的F函数的极大-极大算法时不能理解正文本文先说求偏导过程，再说F函数，最后谈谈为什么是“极大-极大算法”

umbrellalalalala·2020-07-14 02:14

k-近邻算法（kNN）

最近假期，参考李航的《统计学习方法》和PeterHarrington的《机器学习实战》整理了之前学习的机器学习算法（原理+python实现），欢迎小伙伴们交流。

YongqiangGao·2020-07-14 02:25

《统计学习方法》第一章概要

统计学习方法第一章概要1.统计学习或机器学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行分析与预测的一门学科。统计学习包括监督学习、无监督学习和强化学习。

他们都嫌我的微信名字太长·2020-07-14 02:04

机器学习资料

书本统计学习方法（李航）机器学习（周志华）learningfromdatahttp://book.caltech.edu/bookforum/机器学习实战深度学习ConvexOptimization–BoydandVandenberghe

蓝色的狸猫·2020-07-13 22:01

（一）机器学习的基本概要

Author:PanDate:2020/7/131.机器学习的定义与其中牵扯到的问题统计机器学习究竟是什么，根据《统计学习方法》定义：统计机器学习是计算机基于数据建立概率统计模型，并用该模型对数据进行分析和预测的学科

Pan_Ziheng·2020-07-13 17:24

从损失函数的角度详解常见机器学习算法

https://blog.csdn.net/u013709270/article/details/782754621.统计学习方法都是由模型，策略，和算法构成的，即统计学习方法由三要素构成，可以简单表示为

weixin_30311605·2020-07-13 16:19

李航《统计学习方法》第六章——用Python实现最大熵模型（MNIST数据集）

wds2006sdo·2020-07-13 16:42

李航《统计学习方法》第六章——用Python实现逻辑斯谛回归（MNIST数据集）

wds2006sdo·2020-07-13 16:42

支持向量机(SVM) | SMO算法实现

01起在统计学习方法|SVM这篇文章中，我们学习了支持向量机的原理和理论上的算法实现，我们一起回忆一下，支持向量机可以处理三种类型的数据：线性可分支持向量机——求解策略，硬间隔最大化线性支持向量机——求解策略

邓莎·2020-07-13 13:38

支持向量机（四）——深入理解SMO优化算法

本文结合了《统计学习方法》，吴恩达中文笔记，以及一些博客文章https://www.cnblogs.com/pinard/p/6111471.html,http://www.cnblogs.com/vivounicorn

ChiiZhang·2020-07-13 08:17

李航《统计学习方法》SMO算法推导中的思考

1.p.128图中，从上式到下式的推导不是很明了，困惑在于上式中右边含有α1,α2α1,α2这样岂不是和左边的α2α2相消？若能相消，上述求偏导的过程中岂不是忽略了v1,v2v1,v2是α1,α2α1,α2的函数？答案并非如此，左边的αα与右边的α2α2相当不同。2.定理7.6的证明即求最优化问题:minα1,α2W(α1,α2)=12K11α21+12K22α22+y1y2K21α1α2−(α1

lx_ros·2020-07-13 07:59

第一章统计学习方法概论

1.统计学习的定义、研究对象和方法2.监督学习3.统计学习方法三要素：模型、策略和算法4.模型选择：正则化、交叉验证和学习的泛化能力5.生成模型与判别模型6.监督学习方法的应用：分类问题、标注问题与回归问题

骑鲸公子_·2020-07-13 05:55

李航《统计学习方法》——第六章逻辑斯谛回归模型

由于网上资料很多，这里就不再对算法原理进行推导，仅给出博主用Python实现的代码，供大家参考二项逻辑斯谛回归适用问题：二类分类可类比于感知机算法实验数据：train_binary.csv实现代码：#encoding=utf-8importtimeimportmathimportrandomimportpandasaspdfromsklearn.cross_validationimporttrai

fuqiuai·2020-07-13 04:41

李航《统计学习方法》——第六章最大熵模型

由于网上资料很多，这里就不再对算法原理进行推导，仅给出博主用Python实现的代码，供大家参考适用问题：多类分类下面用改进的迭代尺度法（IIS）学习最大熵模型，将特征函数定义为：与其他分类器不同的是，最大熵模型中的f(x,y)中的x是单独的一个特征，不是一个n维特征向量，因此我们需要对每个维度特征加一个区分标签;如X=(x0,x1,x2,…)变为X=(0_x0,1_x1,2_x2,…)测试数据集：

fuqiuai·2020-07-13 04:41

统计学习方法：基于SMO算法的SVM的Python实现

统计学习方法：基于SMO算法的SVM的Python实现前言：在阅读本篇文章之前，希望您已经读过李航老师的《统计学习方法》中的第七章——支持向量机，本文实现SVM的算法使用序列最小最优化算法（SMO）。

cassiePython·2020-07-13 03:12

统计学习方法C++实现之六支持向量机（SVM）

前言支持向量机（SVM）是一种很重要的机器学习分类算法，本身是一种线性分类算法，但是由于加入了核技巧，使得SVM也可以进行非线性数据的分类；SVM本来是一种二分类分类器，但是可以扩展到多分类，本篇不会进行对其推导一步一步罗列公式，因为当你真正照着书籍进行推导后你就会发现他其实没那么难，主要是动手。本篇主要集中与实现，即使用著名的序列最小最优化（SMO）算法进行求解，本篇实现的代码主要参考了Plat

bobxx·2020-07-13 03:47

统计学习方法——第六章logistic递归

【Logistic回归-算法】可参考博客《统计学习方法》简述http://blog.csdn.net/BOBOyspa/article/details/78247157讲解+代码http://blog.csdn.net

libh·2020-07-13 02:50

机器学习必备宝典-《统计学习方法》的python代码实现、电子书及课件

转载自公众号：机器学习初学者《统计学习方法》可以说是机器学习的入门宝典，许多机器学习培训班、互联网企业的面试、笔

R3eE9y2OeFcU40·2020-07-13 01:09

统计学习方法-感知机概括和补充

前言《统计学习方法》第二版出了有段时间了，最近得空可以拜读一下。之前看第一版的时候还是一年多以前，那个时候看的懵懵懂懂的，很吃力。

BoCong-Deng·2020-07-13 00:01

统计学习方法的概括和补充

写在前面《统计学习方法》第二版出了有段时间了，最近得空可以拜读一下。之前看第一版的时候还是一年多以前，那个时候看的懵懵懂懂的，很吃力。

BoCong-Deng·2020-07-13 00:29

李航统计学习方法（二）-感知机算法

感知机算法《统计学习方法》系列笔记的第二篇，对应原著第二章。大量引用原著讲解，加入了自己的理解。对书中算法采用Python实现，并用Matplotlib可视化了动画出来，应该算是很硬派了。

文子轩·2020-07-12 22:39

统计学习方法(1) 梯度下降法和SMO算法实现SVM

SVMSVM是深度学习之前的一种最常用的监督学习方法,可以用来做分类也可以做回归.它的本质和感知机类似,但是额外增加了大间隔的优化目标.结合前面提到的核技巧,我们可以把SVM推广到非线性.这样实现的分类器将有着非常好的性质,让它一度成为"最优解".LibSVM在线性二分类SVM中,我们不止设置一个决策平面wTx+b=0w^Tx+b=0wTx+b=0,还会有两个支持平面wTx+b=−1w^Tx+b=

Hαlcyon·2020-07-12 22:22

机器学习书单

》盛骤《AFirstCourseinProbability》SheldonRoss《IntroductiontoProbabilityModels》SheldonRoss机器学习理论《数学之美》吴军《统计学习方法

zqm201·2020-07-12 20:32

李航（统计学习方法第三章）

第三章KKK近邻不具有显式的学习过程三要素：kkk值的选择距离度量分类决策规则本章结构：叙述kkk近邻算法讨论kkk近邻模型及三要素实现方法：kdkdkd树3.1kkk近邻算法直观的定义：给定训练数据集，对新的输入，在训练数据集中找到与该实例最近的k个实例，这k个实例的多数属于某个类，就把该输入实例分到这个类。特殊情况k=1，称为最近邻算法。3.2kkk近邻模型三要素：kkk值的选择距离度量分类决

公琉星追·2020-07-12 17:31

分类算法--决策树

在分类问题中它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布，学习思想包括ID3,C4.5,CART（摘自《统计学习方法》）。

codragon·2020-07-12 13:25

《李航.统计学习方法》学习笔记——第1章统计学习方法概论

第1章统计学习方法概论1、写在前面的话2、监督学习2.1基本概念3、统计学习方法的三要素2.1模型2.2策略2.3算法1、写在前面的话从今天开始，准备重新学习一下，李航老师的《统计学习方法》一书（江湖人称

山水@有相逢·2020-07-12 12:29

李航《统计学习方法》笔记——从原理到实现：基于R

李航《统计学习方法》笔记：从原理到实现基于R笔记已经上传到github，写了快一年半了吧，最近想想可以share到github很久之前整理的一份笔记，200页左右，最近想了想可以share到github

DefTruth·2020-07-12 11:24

李航《统计学习方法》——第八章Boosting提升方法【补充集成学习】+习题答案

前向分步加法模型与AdaBoost3.3提升树【提升树和AdaBoost的关系】3.3.1回归提升树3.3.2梯度提升树四习题Boosting与AdaBoost可视化解析一、集成学习提升方法是一种常用的统计学习方法

李滚滚·2020-07-12 10:38

统计学习方法（三）——K近邻法

/*先把标题给写了、这样就能经常提醒自己*/1.k近邻算法k临近算法的过程，即对一个新的样本，找到特征空间中与其最近的k个样本，这k个样本多数属于某个类，就把这个新的样本也归为这个类。算法输入：训练数据集其中为样本的特征向量，为实例的类别，i=1,2,…,N；样本特征向量x（新样本）；输出：样本x所属的类y。（1）根据给定的距离度量，在训练集T中找出与x最相邻的k个点，涵盖这k个点的邻域记作；（2

weixin_34248487·2020-07-12 09:11

《统计学习方法》(李航)读书笔记(完结)

因为要准备面试,本文以李航的《统计学习方法》为主,结合西瓜书等其他资料对机器学习知识做一个整理.知识点进程和线程:进程和线程都是一个时间段的描述，是CPU工作时间段的描述，不过是颗粒大小不同.进程就是包换上下文切换的程序执行时间总和

weixin_30765577·2020-07-12 06:24

搜索引擎利用机器学习排序

第三代技术，有效利用日志数据与统计学习方法，使网页相关度与重要度计算的精度有了进一步的提升，代表的方法包括排序学习、网页重要度学习、匹配学习、话题模型学习

weixin_30699443·2020-07-12 06:30

ML书单

李航.统计学习方法.pdf机器学习及其应用.pdfAllofStatistics-AConciseCourseinStatisticalInference-LarryWasserman-Springer.pdfMachineLearning-TomMitchell.pdfPRML.pdfPRML

weixin_30662011·2020-07-12 06:36

《统计学习方法》笔记三---逻辑斯蒂（续）

续最大熵模型补充最大熵模型的学习最大熵模型的学习过程就是求解最大熵模型的过程，最大熵模型的学习可以形式化为约束最优化问题。对于给定的训练数据集以及特征函数，最大熵模型的学习等价于约束最优化问题：按照最后花问题的习惯，将求解最大值问题改写为等价的最小值问题：(6.14)~(6.16)求解约束最优化问题（6.14）~（6.16），所得出的解，就是最大熵模型学习的解，下面给出具体的推导。这里，将约束最优

SmileAda·2020-07-12 01:44

统计学习方法第三章

统计学习方法第三章：K近邻K近邻法和其他的机器学习方法不太一样，因为它没有显示的学习的过程，可以理解为没有训练的过程。

田小成plus·2020-07-12 00:48

重磅—SVM

本篇博客主要内容为：-SVM公式推导；-SMO公式推导；-Python实现SMO和SVM，两种核（linear和RBF）；-逻辑斯蒂回归实现非线性分类；（有待更新….）由于SVM公式比较多，《统计学习方法

腾原·2020-07-12 00:41

统计学习方法第7章支持向量机（1）

统计学习方法第7章支持向量机（1）支持向量机是一种二类分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器。支持向量机还包括了核技巧，使它成为实质上的非线性分类器。

super_chicken·2020-07-12 00:13

朴素贝叶斯（详细版）

这篇博文的内容是基于《统计学习方法》中第四章

stesha_chen·2020-07-11 23:30

标注——隐马尔科夫模型(HMM)以及Python实现

详细地参考李航《统计学习方法》。模型简介HMM描述先由隐藏的马尔可夫链生成状态序列，各个状态序列生成一个观测，组合成最终的观测序列。

slx_share·2020-07-11 23:13

机器学习方法概论1

下面我结合李航《统计学习方法》第一章的内容，对机器学习进行自己的理解和梳理。机器学习其实就是统计学

TRTK·2020-07-11 22:32

统计学习方法第五章习题答案

习题5.1题目：根据表5.1所给的训练数据集，利用信息增益比（C4.5算法）生成决策树.答：先计算每个特征的信息增益比，信息增益比gR(D,A)=g(D,A)HA(D)g_{R}(D,A)=\frac{g(D,A)}{H_{A}(D)}gR(D,A)=HA(D)g(D,A)。其中D关于特征A的熵HA(D)=−∑i=1n∣Di∣∣D∣log⁡2∣Di∣∣D∣H_{A}(D)=-\sum_{i=1}^

Brielleqqqqqqjie·2020-07-11 20:11

用Python实现朴素贝叶斯分类器（MNIST数据集）代码解析

Python实现朴素贝叶斯分类器代码解析最近在学李航博士的《统计学习方法》，wds2006sdo在自己的博客中给出了具体实现的算法，但是由于相关改动，代码放到python3中会有很多地方报错，本篇文章将修改正确后的代码

落Ming·2020-07-11 18:07

EM（最大期望）算法推导、GMM的应用与代码实现

使用EM算法的原因首先举李航老师《统计学习方法》中的例子来说明为什么要用EM算法估计含有隐变量的概率模型参数。假设有三枚硬币，分别记作A，B，C。这些硬币正面出现的概率分别是$\pi,p,q$。

cnblogs.com/qizhou/·2020-07-11 18:25

《统计学习方法》第六章总结

第六章讲逻辑斯蒂回归模型和最大熵模型，这两个模型都属于对数线性模型。这两个模型学习一般采用极大似然估计，或正则化的极大似然估计。逻辑斯蒂回归模型及最大熵模型学习可以转化为为无约束最优化问题。求解该最优化问题的算法有改进的迭代尺度法，梯度下降法，拟牛顿法。二项逻辑斯蒂回归模型是一种分类模型，由条件分布P(X|Y)表示，形式为参数化的逻辑斯蒂回归。这里，随机变量X取值为实数，随机变量Y取值为0或1，通

哈特谢普苏特·2020-07-11 16:52

《统计学习方法》第7章课后习题

这一章尤为复杂，我看了好多资料还有博客，数学功底差总是吃亏的1.1比较感知机的对偶形式与线性可分支持向量机的对偶形式。可以根据线性向量机：求解，这边我直接只用自己写的程序求解。w,b为https://cuijiahua.com/blog/2017/11/ml_8_svm_1.html这网站很不错，讲解的很清楚转载注明：机器学习实战教程（八）：支持向量机原理篇之手撕线性SVM|JackCui自己写的

nkenen·2020-07-11 16:33

统计学习方法第九章习题

9.1#include#includeusingnamespacestd;doublecomput_prob(doublepi,doublep,intyi){doubleprob=1.0*pi*pow(p,yi)*pow((1.0-p),(1-yi));returnprob;}doubleemcomput_u(double*pipq,intyi){doublepi=pipq[0];doublep=