统计学习方法_李航第42页

《统计学习方法》读书笔记（一）

第一章统计学习方法概论一、统计学习1.1.统计学习的特点（1）统计学习以计算机与网络为平台，建立在它们之上（2）统计学习以数据为研究对象，数据驱动的学科（3）统计学习的目的是对数据进行预测与分析（4）统计学习以方法论为中心

JaimeOw·2020-03-05 20:21

【转载】期望最大化（EM）

转载自期望最大化（EM）〇、说明在看到的资料里，包括周志华教授的《机器学习》[1]、李航博士的《统计学习方法》[2]，大多数材料把期望最大化算法看做是一个解决含有隐变量优化问题的算法，我认为这是对期望最大化算法的狭义理解

潘凌昀·2020-03-05 02:46

EM算法系列(六)-EM算法的导出

整理自李航老师的《统计学习方法》一书在前面的几讲中我们介绍了EM算法的一些基础知识以及两个小故事，我们了解了EM算法的基本原理，不过我们并没有详细介绍EM算法的推导过程，这一讲我们就来主要介绍一下EM算法的导出

文哥的学习日记·2020-03-03 20:15

条件随机场小入门-以词性标注为例

看了李航老师的《统计学习方法》中的条件随机场，完全是一头雾水；国外有一个很著名的条件随机场的教程，是英文的，原文在这里[http://blog.echen.me/2012/01/03/introduction-to-conditional-random-fields

文哥的学习日记·2020-03-03 10:59

男生女生谁怕谁（26）诚信就是力量

金龙、李航一直是五（6）班男篮的主力，但是他们的轮滑和乒乓球更棒，为了发挥特长，他们今年狠狠心，放弃篮球赛的参赛权，分别报名参加轮滑和乒乓球比赛。在班长陈芸的带领下，五（6）班啦啦队拼命为球队队员

三门峡014张丽娜·2020-03-03 09:17

Logistic回归(Logistic Regression)算法笔记(一)-Python

写在前面的话：哈喽，大家早安、午安、晚安喽，欢迎大家指点，也希望我的内容可以温暖、帮助同在学习路上的人们~再次申明：本文的理论知识来自PeterHarrington的《机器学习实战》和李航的《统计学习方法

keepStriving·2020-03-02 16:10

机器学习笔记高维空间之超平面

1.超平面定义最近重新翻起李航蓝皮书，发现对很多定义挺模糊，超平面也没有解释。本来空间想象力就不好，又查了些资料，总算想明白困扰已久的高维空间问题，记录一下，供大家参考。

胡椒_w·2020-03-02 13:40

重磅推荐！机器学习|深度学习|自然语言处理学习数据/课程/资料/资源大分享！

版）3.SpeechandLanguageProcessing(3rd)4.NeuralNetworkMethodsforNaturalLanguageProcessing机器学习方面1.机器学习方面统计学习方法

DrogoZhang·2020-03-01 22:49

2019 年最佳机器学习和深度学习书籍的名单！建议收藏！

《统计学习方法（第二版）》4.《探索深度学习》5.《Python深度学习》6.《机器学习实战：基于Scikit-Learn和TensorFlow》7.《百页机器学习》8.

DrogoZhang·2020-03-01 21:09

《统计学习方法》第 9 章“EM 算法及其推广”学习笔记

EM算法，即期望最大化（Expectation-Maximum）算法，用于含有隐变量的概率模型参数的极大似然估计。区别于微积分中通过求导得到最优解的方法，EM算法是一种迭代算法，并不保证能够得到全局最优解，但可以得到一个局部最优解。我们所熟知的均值聚类算法其实是EM算法的一个特例。EM算法的基本思想EM算法的思想是先固定其中一个，推测另一个，如此反复。例如：模型中有两个未知参数和需要估计，而和又存

李威威·2020-02-29 20:34

感知机理论与实践代码

本文主要参考李航老师的《统计学习方法》第二章感知机感知机(perceptron)是一个二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别，取值为+1或-1。

FoolishFlyFox·2020-02-29 09:19

CH3 k近邻法《统计学习方法》-学习笔记

文章原创,最近更新：2018-06-251.k近邻算法的初步了解2.k近邻算法的基本概念，原理以及应用3.k近邻算法中k的选取以及特征归一化的重要性4.将kNN分类器用于的场景5.将kNN分类器用于的场景6.本文的一点总结参考链接:1、一文搞懂k近邻（k-NN）算法（一）2、K-最近邻算法的应用3、距离产生美？k近邻算法python实现4、06K-近邻算法，初中生也能理解的机器学习5、k-近邻算法

durian221783310·2020-02-27 04:53

统计学习方法笔记：3.k近邻法

这是我参加mlhub123组织的书籍共读计划的读书笔记，活动见mlhub第一期读书计划阅读章节：第三章：k近邻法开始时间：2018-09-29结束时间：2018-10-23（比较忙）目标：读完第三章，掌握基本概念，产出一篇笔记博客地址k近邻法（k-nearestneighbor，k-NN）是一种基本分类与回归方法，本书只讨论分类形式：k近邻算法k近邻模型k近邻法的实现：kd树k近邻算法什么是k近邻

howie6879·2020-02-27 02:28

支持向量机|SMO算法实现

01起在统计学习方法|SVM这篇文章中，我们学习了支持向量机的原理和理论上的算法实现，我们一起回忆一下，支持向量机可以处理三种类型的数据：线性可分支持向量机——求解策略，硬间隔最大化线性支持向量机——求解策略

邓莎·2020-02-26 18:52

连载 | 机器学习基石 Lec11：随机梯度下降&多分类

今天终于鼓起勇气继续写下去，正好这学期有《统计学习方法》课程，结合着回顾一下。按照惯例，开头是对上一节做出总结，由于时间久远，就算了……吧。不过还是有一点其他东西想讲一讲。

青禾ws·2020-02-26 07:37

男生女生谁怕谁（61）让鸡蛋飞

放学路上，李航嘟嘟囔囔地背诵“飞呀飞呀“的儿歌。“我们来让鸡蛋飞！”杨飞突发奇想说。张新打趣道：“让狗蛋飞还差不多。”杨飞停下脚步：“我说的是真的，我们做个实验，看谁能让鸡蛋从二楼飞下去摔不碎。”

三门峡014张丽娜·2020-02-24 23:44

李航《统计学习方法》学习笔记——ch1统计学习概论

1.统计学习概论1.1.概念定义统计学习假设数据存在一定统计规律，计算机基于数据构建概率统计模型，并运用模型对数据进行预测与分析一门学科。主要内容监督学习(supervisedlearning)、非监督学习(unsupervisedlearning)、半监督学习(semi-supervisedlearning)、强化学习(reinforcementlearnin)等。三要素模型（model）:模型

紫薯真好吃·2020-02-24 14:49

风雨兼程十五年和谐发展谱新篇

图片发自App会上，李航总就2018发展规划做重要讲话。2018年，

super方·2020-02-24 09:03

Logistic回归模型|算法实现

01起在这篇文章中，我们学习了逻辑斯谛回归模型的算法原理：统计学习方法|logistic回归今天我们基于算法原理，给出利用随机梯度上升算法求解逻辑斯蒂回归模型参数的过程。

邓莎·2020-02-24 00:51

朴素贝叶斯(Naive Bayes)算法笔记(一)-Python

写在前面的话：哈喽，大家早安、午安、晚安喽，欢迎大家指点，也希望我的内容可以温暖、帮助同在学习路上的人们~再次申明：本文的理论知识来自PeterHarrington的《机器学习实战》和李航的《统计学习方法

keepStriving·2020-02-23 10:33

湘大学生国防教育协会赴娄底市双峰县社会实践团圆满完成调研任务

湘大学生国防教育协会赴娄底市双峰县社会实践团圆满完成调研任务（通讯员：李航罗玉娟）2017年8月25日上午，湘潭大学学生国防教育协会赴娄底市双峰县社会实践团完成所有的调研任务，从双峰县返回学校。

湘潭大学青年传媒中心·2020-02-23 09:34

《统计学习方法》笔记

1：统计学习方法概论1.1：统计学习特点，统计学习是关于计算机基于数据构建概率统计模型并运用模型进行数据分析和预测的一门学科。

云时之间·2020-02-23 01:07

男生女生谁怕谁（5）“吾三思”班

李航一拍脑瓜想起来了，“武三思，不就是武则天的侄子，唐朝宰相嘛！可惜品行不值得赞扬。”他冲着张新嬉皮笑脸地补充

三门峡014张丽娜·2020-02-22 18:04

面对渣男的逆天演技，我们该怎么破？

这位渣男对外自称李航。他没钱、没学历、没背景，长相一般，无固定职业，无一技之长，怎么看都是货真价实的24K纯屌丝一枚。不过，人不可貌相，海水不可斗量。

九头书虫·2020-02-22 01:42

男生女生谁怕谁（19）我是小卫士

这是李航说的。“我希望人人都遵守公共秩序，特别是上公交车能按先后顺序排队。上次我都到公交车

三门峡014张丽娜·2020-02-21 01:22

决策树(Decision tree,DT)算法笔记(一)-Python

写在前面的话：哈喽，大家早安、午安、晚安喽，欢迎大家指点，也希望我的内容可以温暖、帮助同在学习路上的人们~正文开始~~再次申明：本文的理论知识来自PeterHarrington的《机器学习实战》和李航的

keepStriving·2020-02-20 13:30

机器学习的敲门砖：kNN算法（上）

一些已经工作的同学不得不捡起早已还给老师的数学知识，勉强拿起《统计学习方法》、《西瓜书》等入门书籍钻研。或被一个个复杂的机公式劝退，或记下一堆公式定理之后却不知道和代码有什么关系，茫然不知所措。

CDA数据分析师培训·2020-02-20 12:22

决策树

决策树在看西瓜书的时候已记录过，此次看《统计学习方法》的决策树部分，除了当作复习，也有若干新的思考。

单调不减·2020-02-20 11:32

统计学习方法之kNN算法

k近邻是什么k近邻法是机器学习中最基本的分类和回归方法，也称为kNN算法。通常k近邻法用于分类问题。k近邻法假定给定一个训练数据集，其中实例类别已定。分类时，对新的实例，根据其K个最近邻的训练实例类别，一般通过多数表决的方式来进行预测。例如，有两堆水果，一堆是橙子，一堆是柚子，新拿到一个水果，判断是橙子还是柚子。一般来说，柚子更大更红。那么判断和该水果最相近的3个水果是什么，比如3个最近的邻居是柚

程序员Morgan·2020-02-19 20:52

2018-04-17

幻灯片1.JPGimageimage在上前几期中，我们曾谈到过在我们希望借助统计学习方法，能够在现有的数据当中掌握规律，从而能够对未来/未知进行预测控制。虽然是说从现有的数据当中掌握规律，但是

浩彬老撕·2020-02-19 18:28

拉格朗日对偶性

该方法在统计学习方法中得到广泛的应用1.原始问题假设f(x)，ci(x),hj(x)是连续可微函数，考虑约束最优化问题：(1)原始问题称此约束最优化问题为原始最优化问题或原始问题。

AlbertLi·2020-02-17 21:41

2019-01-08 异常检测方法(1)

理论背景：SVDD是一种统计学习方法，主要利用样本数据构建统计模型，并用该模型进行预测和分析。对于给定的样本X样本X，样本标签Y样本标签Y和决策函数f(X)，引入损失函数进行L(X,f(X))度量。

且试新茶·2020-02-17 14:03

第一章统计学习方法概论

1.1统计学习1.1.1统计学习特点定义：关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门科学。学习——如果某个系统能够通过执行某个过程改进它的性能，这就是学习。统计学习就是计算机系统通过运用统计学方法提高系统性能的机器学习。1.1.2统计学习对象——数据。从数据出发，提取数据的特征，抽象出数据的模型，发现数据中的知识，又回到对数据的分析和预测中去。统计学习的前提：同类（共同

司马山哥·2020-02-16 22:54

笔记-统计学习方法-第一章01

一、学习的定义：赫尔伯特·西蒙：如果一个系统能够通过执行某个过程改进它的性能，这就是学习。TomMitchell，机器学习：计算机程序可以在给定某种类别的任务T和性能度量P下学习经验E，如果其在任务T中的性能恰好可以用P度量，则随着经验E而提高。我混合一下，定义：学习是一个过程，目的是提升系统（system）在新数据上的表现，手段是利用历史数据修正系统。或者，学习是，利用历史数据修正系统，以提升系

nn0821·2020-02-16 22:41

机器学习感知机（统计学习-李航）

感知机概述感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。它是神经网络与支持向量机的基础。感知机模型假设输入空间(特征空间)是x∈Rn，输出空间是y={+1,-1}。输入是实例的特征向量，对应于输入空间的点；输出是实例

_Joe·2020-02-16 19:41

无标题文章

#CH01统计学习方法概论[TOC]##前言###章节目录1.统计学习2.监督学习1.基本概念2.问题的形式化3.统计学习三要素1.模型2.策略3.算法4.模型评估与模型选择1.训练误差与测试误差2.过拟合与模型选择

貘旅人·2020-02-16 11:58

广义线性模型

最近在学习机器学习的内容，之前看了一本SparkMLlib机器学习，虽然有些算法的原理，但是讲的不深，于是开始看CS229的公开课，辅以李航的统计学习方法和周志华的西瓜书。

iamsonormal2333·2020-02-16 10:13

《统计学习方法》读书笔记

本文总结了《统计学习方法》（李航）中的一些机器学习方法，组织目录如下：【第1章】统计学习方法概论【第2章】感知机【第3章】k近邻法【第4章】朴素贝叶斯法【第5章】决策树【第6章】逻辑斯谛回归与最大熵模型

牛奶芝麻·2020-02-15 01:41

高分辨率遥感图像理解读书笔记（1）——遥感图像前背景分割1

最近准备做遥感图像处理，之前完全没有基础【捂脸】师兄推荐我看这本书，做一做读书笔记帮助自己捋一捋思路吧【参考文献】：高分辨率遥感图像理解.孙显等科学出版社||统计学习方法.李航清华大学出版社【简介】：第二章特征信息表达主要介绍的是一些对图像处理的概论算法

大概是只翻车鱼的莫方·2020-02-14 08:59

CH1 统计学习方法概论|1.5.2交叉验证《统计学习方法》-学习笔记

文章原创,最近更新：2018-06-111.什么是交叉验证法？2.为什么用交叉验证法？3.交叉验证主要有哪些方法？优缺点？4.各方法应用举例？参考链接:1、为什么要用交叉验证?2、机器学习中的交叉验证3、K折交叉验证的前生今世4、统计挖掘那些事：分层抽样与交叉验证5、交叉验证，模型选择（crossvalidation）6、10折交叉验证的例子前言：通过网上找的文章,通过归纳总结具体如下:1.什么是

durian221783310·2020-02-13 19:50

码农实习ing

MachineLearning课程阅读吴军《数学之美》学习pythonscrapy爬虫熟练使用Java机器学习工具——weka10个月里程碑初步尝试使用R进一步学习文本挖掘算法，对LSA、LDA有了更新的认识阅读李航老师的

别笑我呆·2020-02-13 18:28

统计学习方法回顾

计划，1月内完成回顾一、统计学习输入——模型——输出损失函数，衡量一次预测的好坏。0-1损失、平方损失、绝对损失、对数损失等风险函数，衡量平均意义下模型的预测好坏。通常是sum(loss(xi))在训练集不断优化降低风险，会导致模型复杂然后在测试集出现过拟合，预测能力较弱。随着模型复杂度提升，训练误差趋近0，而测试误差是先减小后增大。真正好的模型：训练集上的误差要小，且模型要简单。因此为防止过拟合

cotecc·2020-02-13 09:34

简明机器学习教程——实践篇（一）：从感知机入手

这里，我们从李航博士的《统计学习方法》的第2章感知机来做例子，由此引出大致的学习方法。需要注意的是，这篇教程并不是来介绍感知机模型的，而是用来说

KAAAsS·2020-02-12 14:36

《统计学习方法》极简笔记P2：感知机数学推导

感知机模型输入空间是,输出空间是感知机定义为：感知机学习策略输入空间任一点到超平面S的距离：误分类数据,有误分类点到超平面S的距离误分类点集合M,所有误分类点到超平面S的距离由此，感知机损失函数定义为感知机学习算法（原始形式）输入：训练数据集,,学习率输出：w,b;感知机模型(1)选取初值,(2)训练集选取(3)IF(4)转至(2),直到没有误分类点。另：感知机算法是收敛的，在训练数据及上的误分类

统计学家·2020-02-12 03:17

2018-06-21 转载 AIQ | 人工智能入门书单推荐（附 PDF 链接）

aoaocool·2020-02-11 12:48

2018-08-12

统计学习方法笔记(一)1.1实现统计学习方法的步骤1.得到一个有限的训练数据集。2.确定包含所有可能的模型的假设空间，即学习模型的集合。3.确定模型选择的准则，即学习策略。

Neuromance_ea9a·2020-02-11 09:14

关于EM算法原理的分析与理解（Python实现）

本文的计算公式出自《统计学习方法》，写这篇文章主要是想把自己对这个算法的思路理清，并把自己的理解记录下来，同时分享出来，希望能够帮助到打算入门机器学习的人。

幸福洋溢的季节·2020-02-11 00:50

Learning to Rank 概述

本文将对L2R做一个比较深入的介绍，主要参考了刘铁岩、李航等人的几篇相关文献[1,2,3]，我们将围绕以下几点来介绍L2R：现有

Yespon·2020-02-09 02:46

未来若干年AI技术发展

先后在NEC公司中央研究所、微软亚洲研究院、华为诺亚方舟实验室从事和领导AI技术研发，现任字节跳动人工智能实验室总监的李航，就是一位AI技术的坚实研究者和实践者。

sandman_764a·2020-02-08 15:54

整理一份万字机器学习资料！

本系列主要根据吴恩达老师的课程、李航老师的统计学习方法以及自己平时的学习资料整理！在本文章中，有些地方写的十分简略，不过详细的介绍我都附上了相应的博客链接，大家可以根据相应的博客链接学习更详细的内容。

文哥的学习日记·2020-02-08 14:26

推荐频道

统计学习方法_李航