李航统计学习笔记第17页

李航（统计学习方法第一章）

第一章统计学习方法概论内容概要：内容概括：简要叙述统计学习方法的基本概念主要内容：监督学习统计学习方法三要素模型策略算法正则化交叉验证学习的泛化能力生成模型与判别模型监督学习方法的应用分类问题标注问题回归问题1.1统计学习统计学习是关于计算机基于构建概率统计模型并运用模型对数据进行预测与分析的一门学科学习：如果一个系统能够通过执行某个过程改进他的性能，这就是学习统计学习的对象：数据目的：预测及分析

公琉星追·2020-07-15 10:08

李航—统计学习方法

AI菌今天分享的是李航老师的统计学习方法链接：http://pan.baidu.com/s/1bL3LVo密码：c272内容简介······《统计学习方法》是计算机及其应用领域的一门重要的学科。

AI玩转智能·2020-07-15 10:04

【干货】李航老师《统计学习方法》(第2版）课件分享，附下载

李航博士的《统计学习方法》可以说是机器学习的入门宝典。现如今，统计学习方法（第2版）于今年5月份出版，在第一版监督学习的基础上，增加了无监督学习内容，更加丰富，是非常值得学习材料。

python爬虫人工智能大数据·2020-07-15 06:58

《机器学习实战》笔记——第二章：k-近邻算法（kNN）实战

1说明该书主要以原理简介+项目实战为主，本人学习的主要目的是为了结合李航老师的《统计学习方法》以及周志华老师的西瓜书的理论进行学习，从而走上机器学习的“不归路”。

圣西罗风之子·2020-07-15 06:46

F函数的极大极大算法

本文所用的变量名称与李航第九章相同，即，隐变量数据：Z；观测变量数据：Y（永远是已知的）；需要估计的模型参数θ\thetaθ,概率分布一律用P（·）表示。

布雷斯伍德·2020-07-15 06:12

Gradient Tree Boosting:梯度提升树详解

理论数学推导请参考《统计机器学习》-李航,或者参考sklearn的官方文档,下面是我的部分笔记,也可以作为参考优缺点GBRT是对任意的可微损失函数的提升算法的泛化，即可回归亦可分（sai）类（ting）

weixin_30614587·2020-07-15 03:33

李航《统计学习方法》第三章——用Python实现KNN算法（MNIST数据集）

wds2006sdo·2020-07-15 02:29

Adaboost算法流程记录

下面关于adaboost的内容部分参考李航老师的《统计学习方法》输入：训练数据集$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，其中$X$为实例空间，\(Y\

树荫下的野草·2020-07-15 02:59

李航-第8章提升方法

Adaboost：adaptiveBoosting。Boosting是EnsembleLearning算法的一个类别。Boost的意思为“提升”，这类算法的思想是“给定仅比随机猜测略好的弱学习算法,将其提升为强学习算法”AdaBoost最基本的性质是它能在学习过程中不断减少训练误差，即在训练数据集上的分类误差率。a.boosting与bagging区别一、关于bagging算法（bootstrap

瘦长的丰一禾·2020-07-14 23:18

C#实现KNN算法

KNN算法的C#代码，上一篇博客中的C#创建KD树的程序中的算法是模仿MATLAB的KDTree的程序思路这次按照李航老师的《统计学习方法》中的思路，写一个C#程序，其中创建KD树的分割的维度并不是轮寻

qshbbh·2020-07-14 21:28

阅读笔记 - 《统计学习方法 - 李航》

阅读笔记-《统计学习方法-李航》1统计分析1.1常见的几种损失函数1.2风险函数1.3过拟合1.4损失函数1.5模型选择的方法1：正则化1.6模型选择的方法2：交叉验证1.7生成方法与判别方法1.8分类器评估指标

pennyyangpei·2020-07-14 20:20

【李航统计学习方法】感知机模型

目录一、感知机模型二、感知机的学习策略三、感知机学习算法感知机算法的原始形式感知机模型的对偶形式参考文献本章节根据统计学习方法，分为模型、策略、算法三个方面来介绍感知机模型。首先介绍感知机模型，接着介绍感知机的学习策略，也就是最小化损失函数，最后介绍感知机学习的算法，分为原始形式和对偶形式（当中也介绍了算法的收敛性）【PS:算法也就是随机梯度下降算法】一、感知机模型首先感知机（perceptron

郭畅小渣渣·2020-07-14 19:48

【干货】李航老师《统计学习方法》(第2版）清华PPT课件分享

阅读大概需要7分钟跟随小博主，每天进步一丢丢参考：AI派李航博士的《统计学习方法》可以说是机器学习的入门宝典。

zenRRan·2020-07-14 17:37

李航《统计学习方法》多项式函数拟合问题V2

问题描述假定给定一个训练数据集：T={(x1,y1),(x2,y2),⋯,(xN,yN)}其中，xi∈R是输入x的观测值，yi∈R是相应的输出y的观测值，i=1,2,⋯,N，多项式函数拟合的任务是假设给定数据由M次多项式函数生成，选择最有可能产生这些数据的M次多项式函数，即在M次多项式函数中选择一个对已知数据以及未知数据都有很好预测能力的函数。设M次多项式为fM(x,w)=w0+w1x+w2x2+

maludian1810·2020-07-14 15:58

机器学习实战之KNN算法

光速跑者21·2020-07-14 10:33

统计学习方法李航---第9章 EM算法及其推广

第9章EM算法及其推广EM算法是一种迭代算法，用于含有隐变量(hiddenvariable)的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望(expectation)；M步，求极大(maximization)，所以这一算法称为期望极大算法(expectationmaximizationalgorithm)，简称EM算法。9.1EM算法的引入一般地，用Y表

dazhichang6061·2020-07-14 09:42

《统计学习方法》书摘1

第1章统计学习方法概要写在前面：该系列博客旨在复习和整理李航老师的《统计学习方法》一书的内容和笔记。

comeonkimi06·2020-07-14 09:50

《统计学习方法》（李航）第二版第一章总结

导读第一章是对统计学习中的基本思想、基本概念、以及常见问题类型的介绍。其中涉及的一些特定技术不用深究。需要重点理解的内容是模型过拟合的含义、模型泛化能力两部分。另外需要通过习题熟悉极大似然估计和贝叶斯两个估计方法。本章概要的5点内容统计学习包括监督学习、无监督学习和强化学习。统计学习方法三要素：模型、策略、算法。监督学习可以概括如下：从给定有限的训练数据出发，假设数据是独立同分布的，而且假设模型属

NaLi_champion·2020-07-14 06:52

EM算法为什么可视为F函数的极大-极大算法？

（本人知乎同名账号亦发了此文）读前须知本文面向读者为：正在看李航的《统计学习方法》，看到9.4.1的F函数的极大-极大算法时不能理解正文本文先说求偏导过程，再说F函数，最后谈谈为什么是“极大-极大算法”

umbrellalalalala·2020-07-14 02:14

k-近邻算法（kNN）

最近假期，参考李航的《统计学习方法》和PeterHarrington的《机器学习实战》整理了之前学习的机器学习算法（原理+python实现），欢迎小伙伴们交流。

YongqiangGao·2020-07-14 02:25

机器学习资料

书本统计学习方法（李航）机器学习（周志华）learningfromdatahttp://book.caltech.edu/bookforum/机器学习实战深度学习ConvexOptimization–BoydandVandenberghe

蓝色的狸猫·2020-07-13 22:01

7.13日数学培优班课堂反馈

李航德很聪明，举手积极，但是讲小话的毛病还需改进。袁婧淇这节课上课表现不是很积极，偶尔趴桌子。作业：课本P35讲解家庭作业：图片发自App图片发自App开始讲新课程：复习

Guoting_·2020-07-13 17:29

李航《统计学习方法》第六章——用Python实现最大熵模型（MNIST数据集）

wds2006sdo·2020-07-13 16:42

李航《统计学习方法》第六章——用Python实现逻辑斯谛回归（MNIST数据集）

wds2006sdo·2020-07-13 16:42

从损失函数谈一谈adaboost和GBDT和xgboost的区别

adaboost在李航博士的《统计学习基础》里面用加法模型和向前算法解释了权值更新策略。在解释的过程中，样本权值更新和弱分类器权值的求取是直接通过偏导数等于零来计算的，如果记不清楚的可以回

wangfenghui132·2020-07-13 16:05

李航《统计学习方法》SMO算法推导中的思考

1.p.128图中，从上式到下式的推导不是很明了，困惑在于上式中右边含有α1,α2α1,α2这样岂不是和左边的α2α2相消？若能相消，上述求偏导的过程中岂不是忽略了v1,v2v1,v2是α1,α2α1,α2的函数？答案并非如此，左边的αα与右边的α2α2相当不同。2.定理7.6的证明即求最优化问题:minα1,α2W(α1,α2)=12K11α21+12K22α22+y1y2K21α1α2−(α1

lx_ros·2020-07-13 07:59

李航《统计学习方法》——第六章逻辑斯谛回归模型

由于网上资料很多，这里就不再对算法原理进行推导，仅给出博主用Python实现的代码，供大家参考二项逻辑斯谛回归适用问题：二类分类可类比于感知机算法实验数据：train_binary.csv实现代码：#encoding=utf-8importtimeimportmathimportrandomimportpandasaspdfromsklearn.cross_validationimporttrai

fuqiuai·2020-07-13 04:41

李航《统计学习方法》——第六章最大熵模型

由于网上资料很多，这里就不再对算法原理进行推导，仅给出博主用Python实现的代码，供大家参考适用问题：多类分类下面用改进的迭代尺度法（IIS）学习最大熵模型，将特征函数定义为：与其他分类器不同的是，最大熵模型中的f(x,y)中的x是单独的一个特征，不是一个n维特征向量，因此我们需要对每个维度特征加一个区分标签;如X=(x0,x1,x2,…)变为X=(0_x0,1_x1,2_x2,…)测试数据集：

fuqiuai·2020-07-13 04:41

统计学习方法：基于SMO算法的SVM的Python实现

统计学习方法：基于SMO算法的SVM的Python实现前言：在阅读本篇文章之前，希望您已经读过李航老师的《统计学习方法》中的第七章——支持向量机，本文实现SVM的算法使用序列最小最优化算法（SMO）。

cassiePython·2020-07-13 03:12

用sklearn做一个完整的机器学习工程——以波士顿房价预测为例。（一、用自定义转换器、Pipeline Feature_Union做特征工程）

PythonstartL·2020-07-13 01:25

李航统计学习方法（二）-感知机算法

感知机算法《统计学习方法》系列笔记的第二篇，对应原著第二章。大量引用原著讲解，加入了自己的理解。对书中算法采用Python实现，并用Matplotlib可视化了动画出来，应该算是很硬派了。一套干货下来，很是辛苦，要是能坚持下去就好。概念感知机是二分类模型，输入实例的特征向量，输出实例的±类别。感知机模型定义假设输入空间是输出空间是imagex和y分属这两个空间，那么由输入空间到输出空间的如下函数：

文子轩·2020-07-12 22:39

概率论与数理统计学习笔记三：随机变量的数字特征

1.数学期望（均值）与中位数1）数学期望的定义a）取有限个值的离散型随机变量的数学期望b）取无穷个值的离散型随机变量的数学期望c）连续型随机变量的数学希望d）特例：离散（波瓦松分布、负二项分布）；连续（均匀分布；指数分布；正态分布）e）数学期望由随机变量的分布完全决定，但在某些问题中，难于决定某些变量的分布如何，但有相当的根据（经验或理论）对期望值提出一些假定甚至有不少的了解；当需要通过观察或试验

坚持就是胜利z·2020-07-12 19:22

概率论与数理统计学习笔记二：随机变量及其概率分布

1.一维随机变量1）随机变量的概念a）随机变量的定义：“其值随机会而定”的变量，是试验结果的函数b）随机变量的反面为确定性变量，其取值遵循某种严格的规律的变量；c）随机事件与随机变量的关系：前者从静态观点来研究随机现象，后者从动态观点d）随机变量的分类（按其可能取的值的全体的性质）：离散型随机变量（只能取有限个值）和连续性随机变量（取值充满某一个区间，数学上抽象的情况）e）随机变量的研究：取值、取

坚持就是胜利z·2020-07-12 19:22

李航（统计学习方法第三章）

第三章KKK近邻不具有显式的学习过程三要素：kkk值的选择距离度量分类决策规则本章结构：叙述kkk近邻算法讨论kkk近邻模型及三要素实现方法：kdkdkd树3.1kkk近邻算法直观的定义：给定训练数据集，对新的输入，在训练数据集中找到与该实例最近的k个实例，这k个实例的多数属于某个类，就把该输入实例分到这个类。特殊情况k=1，称为最近邻算法。3.2kkk近邻模型三要素：kkk值的选择距离度量分类决

公琉星追·2020-07-12 17:31

概率统计学习笔记——1.随机事件与随机变量

概率统计学习笔记——1.随机事件与随机变量注：由于这都是《概率论与数理统计》一书中的知识，那么这里就不再过多重复阐述有关的概念定义了，我们整理一下其中重要的知识点。

学习语言的小怪兽·2020-07-12 14:04

《李航.统计学习方法》学习笔记——第1章统计学习方法概论

第1章统计学习方法概论1、写在前面的话2、监督学习2.1基本概念3、统计学习方法的三要素2.1模型2.2策略2.3算法1、写在前面的话从今天开始，准备重新学习一下，李航老师的《统计学习方法》一书（江湖人称

山水@有相逢·2020-07-12 12:29

贝叶斯理论与函数拟合，最大似然与损失函数

最初的疑惑在李航老师的统计机器学习当中，提到了机器学习的目标或者说求解的方向，这个目标分为两种形式：机器学习是要去学习一个目标函数fff或者说一个假设hhh，这个函数fff或者假设hhh可以正确分类数据或者正确拟合数据机器学习是要去学习一个概率分布

dayhost·2020-07-12 12:29

李航《统计学习方法》笔记——从原理到实现：基于R

李航《统计学习方法》笔记：从原理到实现基于R笔记已经上传到github，写了快一年半了吧，最近想想可以share到github很久之前整理的一份笔记，200页左右，最近想了想可以share到github

DefTruth·2020-07-12 11:24

李航《统计学习方法》——第八章Boosting提升方法【补充集成学习】+习题答案

文章目录一、集成学习二、Bagging与随机森林三、Boosting提升方法3.1提升方法的思路和提升方法AdaBoost3.2前向分步加法模型与AdaBoost3.3提升树【提升树和AdaBoost的关系】3.3.1回归提升树3.3.2梯度提升树四习题Boosting与AdaBoost可视化解析一、集成学习提升方法是一种常用的统计学习方法，是集成学习实现的一种方式，《统计学习方法》只介绍了提

李滚滚·2020-07-12 10:38

7.12日数学培优班课堂反馈

李航德上课积极举手，爱动脑筋，但是上课喜欢讲小话，已提出批评！刘志诚上课有点分神，被点名后有所好转。作业：p59-61未完成的内容继续完成。复习昨天的重叠问题，讲解家庭作业图片发自App图片

Guoting_·2020-07-12 08:51

《统计学习方法》(李航)读书笔记(完结)

因为要准备面试,本文以李航的《统计学习方法》为主,结合西瓜书等其他资料对机器学习知识做一个整理.知识点进程和线程:进程和线程都是一个时间段的描述，是CPU工作时间段的描述，不过是颗粒大小不同.进程就是包换上下文切换的程序执行时间总和

weixin_30765577·2020-07-12 06:24

ML书单

李航.统计学习方法.pdf机器学习及其应用.pdfAllofStatistics-AConciseCourseinStatisticalInference-LarryWasserman-Springer.pdfMachineLearning-TomMitchell.pdfPRML.pdfPRML

weixin_30662011·2020-07-12 06:36

标注——隐马尔科夫模型(HMM)以及Python实现

详细地参考李航《统计学习方法》。模型简介HMM描述先由隐藏的马尔可夫链生成状态序列，各个状态序列生成一个观测，组合成最终的观测序列。

slx_share·2020-07-11 23:13

机器学习方法概论1

下面我结合李航《统计学习方法》第一章的内容，对机器学习进行自己的理解和梳理。机器学习其实就是统计学

TRTK·2020-07-11 22:32

用Python实现朴素贝叶斯分类器（MNIST数据集）代码解析

Python实现朴素贝叶斯分类器代码解析最近在学李航博士的《统计学习方法》，wds2006sdo在自己的博客中给出了具体实现的算法，但是由于相关改动，代码放到python3中会有很多地方报错，本篇文章将修改正确后的代码

落Ming·2020-07-11 18:07

Python中的cv2使用

python中cv2的使用引言：因为最近想入门一下机器学习的知识，目前以李航博士的《统计学学习》为教材自学ing，然后再具体算法复现上遇到了第一个坑，就是图像的Hog特征提取（hog扫盲），然后触摸到的