李航统计学习方法

统计学习方法笔记-逻辑斯谛回归与最大熵模型

逻辑斯谛回归是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型。逻辑斯谛回归模型与最大熵模型都属于对数线性模型。逻辑斯谛回归模型逻辑斯谛分布：设X是连续随机变量，X服从逻辑斯谛分布是指X具有下列的分布函数和密度函数：式中，μ为位置参数，γ>0为形状参数逻辑斯谛分布的密度函数f(x)和分布函数F(x)的图形分别如下图所示，分布函数属于逻辑斯谛函数，图形是一条
快剑青衣·2020-08-19 00:06

统计学习方法（五）Logistic回归与最大熵模型

5Logistic回归与最大熵模型5.1logistic回归模型事件的几率是指该事件发生的概率与不发生的概率的比值。在logistic回归模型中，输出Y的对数几率是输入X的线性函数。通过模型可将线性函数转换为概率，线性函数的值越接近正无穷，概率值越接近1，线性函数的值越接近负无穷，概率值越接近0。可以应用极大似然估计法估计模型参数，从而得到回归模型，得到w的估计。这样，问题就变成了以对数似然函数为
tianyouououou·2020-08-19 00:03

统计学习方法——逻辑斯蒂回归与最大熵模型

逻辑斯蒂回归（LR）是统计学习中的经典分类方法。最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型。逻辑斯蒂回归模型与最大熵模型都属于对数线性模型。1、逻辑斯蒂回归模型线性回归与逻辑回归关系：在学习逻辑回归时，常常会联想到线性回归。线性回归一般预测解决连续值预测的问题，对已有的数据进行线性拟合，运用最小二乘法等，找到最佳拟合曲线，然后得到线性模型，来进行预测，是一个线性模型。而逻辑回
凉风慕有信·2020-08-19 00:00

统计学习方法——第6章 logistics回归与最大熵模型

介绍（Introduction）：logistics回归是统计学习方法中的经典分类方法。最大熵是概率模型学习的一个准则。将其推广到分类问题得到最大熵模型（MaxmiumEntorpyModel）。
qq_37172182·2020-08-19 00:44

《统计学习方法(第二版)》学习笔记 第三章 k近邻法 代码实现

文章目录1.kd树节点定义2.数据处理过程3.基于kd树的最近邻算法实现和k近邻算法实现3.1kd树的构建3.2基于kd树的最近邻算法实现3.3基于kd树的k近邻算法的实现这篇博客给出基于kd树的最近邻算法实现和k近邻算法的实现1.kd树节点定义Node.py：kd树中的节点定义classKdNode:"""@:paramvalue:节点值@:paramdimension:当前节点的划分维度@:p
忆殇DR·2020-08-19 00:33

统计学习方法学习笔记5—— 逻辑斯谛回归与最大熵模型

目录1.概述2.逻辑斯谛回归模型2.1.逻辑斯谛分布2.2.1.二线逻辑斯谛回归模型的条件概率分布2.3.多项逻辑斯谛回归2.3.1.多项逻辑斯谛回归模型2.3.2.二元推广2.4.对数线性模型2.5.模型参数估计3.最大熵模型3.1.信息论相关的概念3.1.1.信息量3.1.2.信息和概率的关系3.1.3.概率3.1.4.熵3.1.5.联合熵3.1.6.条件熵3.1.7.互信息3.1.8.信息增
ChaucerG·2020-08-19 00:32

统计学习方法——逻辑回归和最大熵模型

逻辑回归逻辑斯谛分布在《统计学习方法》这本书中，逻辑斯谛回归模型是目标是最大化条件概率分布P(Y|X)，条件概率为参数化的逻辑斯谛分布。所以在介绍逻辑回归前，先来看
我是刘某某·2020-08-19 00:15

《统计学习方法（李航）》逻辑斯蒂回归与最大熵模型学习总结

作者：jlianghttps://blog.csdn.net/jliang31.重点归纳1）线性回归（1）是确定两种或以上变量间相互依赖的定量关系的一种统计分析方法。（2）模型：y=wx+b（3）误差函数：（4）常见求解方法最小二乘法梯度下降法其它算法：牛顿法或拟牛顿法（5）最小二乘与梯度下降法关系最小二乘法看作优化方法的话，那么梯度下降法是求解方法的一种。梯度下降法是一种解决问题的数据方法，最小
J-JunLiang·2020-08-19 00:09

年中记录与挖坑

记录前一段时间李航大佬跳槽前总结过(原文链接)计算机上达到和人同等的对话能力还非常困难。现在的技术，一般是数据驱动，基于机器学习的。单轮对话有基于分析的，基于检索的，基于生成的方法。
MashoO·2020-08-19 00:37

机器学习笔记——logistic回归和最大熵

@[TOC]开始机器学习第二遍的整理和总结这次笔记主要是用来总结logistic回归和最大熵以后的总结都是对照机器学习，机器学习实战和统计学习方法3本书来展开的，logistic算法在机器学习里面并没有单独的介绍
day_day_uo·2020-08-19 00:21

k近邻法（三）|构造平衡kd树+搜索kd树| 《统计学习方法》学习笔记（十四）

k近邻法的实现：kd树实现k近邻法时，主要考虑的问题是如何对训练数据进行快速k近邻搜索。这点在特征空间的维数大及训练数据容量大时尤其必要。k近邻法最简单的实现方法是线性扫描（linearscan）。这时要计算输入实例与每一个训练实例的距离。当训练集很大时，计算非常耗时，这种方法是不可行的。为了提高k近邻搜索的效率，可以考虑使用特殊的结构存储训练数据，以减少计算距离的次数。1.构造kd树（kdtre
Sany 何灿·2020-08-19 00:58

机器学习算法感知机详解加代码

感知机今天出去跑滴滴看到一个小伙子拿了一本李航的统计学习方法，于是回家又翻出了这本书打算从头到尾写博客介绍一遍各个算法的原理和代码。
ID3·2020-08-19 00:41

逻辑斯谛回归与最大熵模型-《统计学习方法》学习笔记

0.概述：Logistic回归是统计学中的经典分类方法，最大熵是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型，logistic回归模型与最大熵模型都是对数线性模型。本文第一部分主要讲什么是logistic（逻辑斯谛）回归模型，以及模型的参数估计，使用的是极大对数似然估计以及梯度下降法，第二部分介绍什么是最大熵模型，首先介绍最大熵原理，然后根据最大熵原理推出最大熵模型，在求解最大熵模型时
土肥宅娘口三三·2020-08-19 00:08

统计学习方法笔记：逻辑斯谛回归与最大熵模型（下）

1.3模型学习的最优化算法逻辑斯谛回归模型、最大熵模型学习归结为以似然函数为目标函数的最优化问题，通常通过迭代算法求解。从最优化的观点看，这时的目标函数具有很好的性质。它是光滑的凸函数，因此多种最优化的方法都适用，保证能找到全局最优解。常用的方法有迭代尺度法、梯度下降法、牛顿法或拟牛顿法。牛顿法或拟牛顿法一般收敛速度更快。1.3.1改进的迭代尺度法改进的迭代尺度法（improvediterativ
农民小飞侠·2020-08-19 00:36

Github标星过万的吴恩达机器学习、深度学习课程笔记，《统计学习方法》代码实现，可以在线阅读了！...

吴恩达机器学习、深度学习，李航老师《统计学习方法》，可以说是机器学习入门的宝典。本文推荐一个网站“机器学习初学者”，把以上资源的笔记、代码实现做成了网页版，可以在线阅读了。
湾区人工智能·2020-08-18 13:15

Logistic回归的基本思想与公式推导

无论是在李航老师的《统计学习方法》书中，还是在吴恩达老师的机器学习课程中，都是先假设随机变量x服从Logistic分布，即有如下的分布函数和概率密度函数：可是为什么定义这样的分布函数和概率密度函数，对于初学者来说
兔子爱吃萝北·2020-08-18 12:29

Logistic回归原理分析和实践

Logistic回归原理分析和实践参考资料：机器学习周志华统计学习方法李航一些博客：logistic回归详解,详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解,逻辑回归（LogisticRegression
panfeng_·2020-08-18 12:07

时间序列预测中特征构建

传统统计学习方法：naiveapproach,movingaverage,Holtlinear,exponentialsmoothing,ARIMA,andProphet现代机器学习方法：树模型等深度学习方法
Watch_dou·2020-08-18 12:17

统计学习方法-框架

本文是作者在阅读李航老师《统计学习方法》后，对其中一些重要概念的理解和思考，算是一种形式的笔记，希望跟大家分享，如果转载，请标明作者和出处。
基皮producer·2020-08-18 10:37

LaTeX简单实践（材料为《统计学习方法》笔记第一章前3节）

article}\usepackage{CJK}%载入中文包\usepackage{amsmath}\begin{document}\begin{CJK}{UTF8}{song}%使用中文\section{统计学习方法概论
Kblacksmith·2020-08-18 08:42

kd树划分空间选择维度使用方差的好处

最近学习《统计学习方法》里的kd树时，虽然算法的原理比较清晰，但是一直感觉选择维度的时候使用j=(imodk)+1的轮替模式会导致空间分的太不均衡，可能导致搜索kd树的某些时候效率偏低。
Kblacksmith·2020-08-18 07:14

基于贝叶斯估计的概率公式推导

统计学习方法第四章贝叶斯估计题参考1：https://blog.csdn.net/bumingqiu/article/details/73397812参考2：https://blog.csdn.net/
zhuzhongzhuo·2020-08-18 07:33

李航《统计学习方法》--第一章

统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行分析和预测的一门学科。统计学习三要素：模型，策略，算法模型：在监督学习中，模型就是所要学习的条件概率分布或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。在书中称有决策函数表示的模型为非概率模型，由条件概率表示的模型为概率模型。策略：策略就是按照什么样的标准学习或选择最优的模型。统计学习的目的在于从假设空间中选取最优模型
Icevivina·2020-08-18 07:51

《统计学习方法》机器学习方法总结

终于看完了《统计学习方法》常用的分类器部分，博主吐血总结，包含模型、推导、算法步骤，还有各种细节部分的理解，方便自己以后回顾和复习，很多都是我自己的理解，有问题希望能多交流这个总结是一个提纲性质的总结，
日常搬砖xbw·2020-08-18 01:48

AdaBoost算法公式形象的解释

0.问题引入以上是李航的《统计学习方法》中对AdaBoost算法的描述，虽然后文中也对这里的式子进行了注释，但还不是很明朗，下面是我自己的解读。
comli_cn·2020-08-17 21:29

条件随机场（CRF）

条件随机场应该是机器学习领域比较难的一个算法模型了，难点在于其定义之多（涉及到概率图模型、团等概率）、数学上近似完美（涉及到概率、期望计算，最优化方面的知识），但是其在自然语言处理方面应用效果比较好，所以本文结合李航老师的
张博208·2020-08-17 21:43

李航统计学习方法-感知机理论

感知机模型感知机（perceptron）是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和–1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机学习算法具有简单而易于实现的优点，分为原始形式和
JohnBanana·2020-08-17 17:05

统计学习方法学习笔记（一）

一、朴素贝叶斯法：1.朴素贝叶斯法通过训练数据集学习联合概率分布P（x,y）2.朴素贝叶斯法对条件概率分布作条件独立性假设二、二项分布B（n,p），重复n次的伯努利试验n=1时为伯努利分布，np很大时，逼近正态分布或泊松分布百度百科二项分布三、先验概率：事件发生前的预判概率。可以是基于历史数据的统计，可以由背景常识得出，也可以是人的主观观点给出。一般都是单独事件概率，如P(x),P(y)。后验概率
yuzhong_沐阳·2020-08-17 17:28

《统计学习方法》读书笔记第5章:决策树

第五章：决策树决策树（decisiontree）是一种基本的分类与回归方法。用于分类时，其主要优点是模型具有可读性，分类速度快。学习时，利用训练数据，根据损失函数最小化的元组建立决策树模型；预测时，对新的数据，利用决策树模型进行分类。文章目录第五章：决策树决策树模型与学习决策树模型决策树与if-then规则决策树与条件概率分布决策树学习特征选择信息增益(informationgain)信息增益比(
xcj～·2020-08-17 17:51

感知机学习笔记

从今天起，我会不定时更新机器学习学习心得，不会去写特别复杂的公式，因为这些公式在《统计学习方法》和《机器学习》上面都有，我也有标注和推导，也不期望像赵志勇师兄那样发书，只想通过我的学习笔记更多的记录我对这个知识点的理解与概括
一位不愿意透露姓名的程序猿·2020-08-17 17:12

李航《统计学习方法》第一章复习与习题参考解答

1、统计学习三要素除了介绍一些基本概念之外，李航《统计学习方法》第一章的重点是提出了统计学习的三要素，即方法=模型+策略+算法更确切地说，统计学习方法包括模型的假设空间、模型选择的准则以及模型学习的算法
徐子尧·2020-08-17 17:59

李航（统计学习方法第二章）

第二章感知机感知机是二分类的线性分类模型，分为原始形式和对偶形式。是神经网络和支持向量机的基础。介绍感知机模型叙述感知机的学习策略（特别是损失函数）介绍感知机学习算法（包括原始形式和对偶形式），并验证算法收敛性。2.1感知机模型定义2.1（感知机）假设输入空间（特征空间）是 χ⊆Rn \,\chi\subseteqR^n\,χ⊆Rn，输出空间是 Y={+1,−1} \,Y=\{+1,-1\}\,Y
公琉星追·2020-08-17 17:34

《统计学习方法》笔记--概述

目的是使得计算机系统通过运用数据及统计学习方法提高系统性能。
兜里有糖心里不慌·2020-08-17 17:13

机器学习——统计学习方法——第1章 统计学习及监督学习概论

特点以计算机及网络为平台，是建立在计算机及网络上的；以数据为研究对象，是数据驱动的学科；目的是对数据进行预测与分析；以方法为中心，统计学习方法构建模型并应用模型进行预测与分析；是概率论、统计学、信息论、
赴约如期·2020-08-17 17:49

统计学习方法·笔记·第一章·概论

《统计学习方法》第一章概论统计学习（statisticallearning）也称统计机器学习。
Moon00zz·2020-08-17 17:12

统计学习方法·笔记·第一章·模型评估、正则化与交叉验证

注意：统计学习方法具体采用的损失函数未必是评估时采用的损失函数。当然，让两者一致是比较理想的。
Moon00zz·2020-08-17 17:12

统计学习方法·笔记·第一章·泛化能力

泛化能力（generalizationability）指模型对未知数据的预测能力。从理论上对泛化能力进行分析。如果学到的模型是f^\hat{f}f^，那么用这个模型对未知数据测得的误差即为泛化误差（generalizationerror）：Rexp=EP[L(Y,f^(X))]=∫x⋅yL(y,f^(x))P(x,y)dxdyR_{exp}=E_{P}[L(Y,\hat{f}(X))]=\int_
Moon00zz·2020-08-17 17:12

统计学习方法笔记第二章-感知机

统计学习方法笔记第二章-感知机2.1感知机模型2.2感知机学习策略2.2.1数据集的线性可分型2.2.2感知机学习策略2.3感知机学习算法2.3.1感知机算法的原始形式2.3.2算法的收敛性感知机的介绍
Wine Ray·2020-08-17 17:11

李航第二章课后习题答案

2.1**题目描述：**Minsky和Papert指出：感知机是线性模型，所以不能表示复杂的函数。如异或（XOR），验证感知机为什么不能表示异或。解：异或的输入输出如下：x(1)x(1)11-11-11-111-1-1-1接下来我们简单证明一下异或操作的线性不可分性：证：利用反证法，假设存在一个超平面wx+b=0wx+b=0，满足条件：y(w⋅x+b)>0y(w⋅x+b)>0∀x∈{(1,1)T,
weixin_43780431·2020-08-17 17:00

支持向量机SVM（一）原始函数与对偶函数

所有公式已做手动推导，为了美观（字丑），将选择贴出周老先生西瓜书的一些结论和李航统计机器学习和南瓜书推导过程。
请叫我Ricardo·2020-08-17 16:14

李航《统计学习方法》第二版学习笔记汇总（包括理论和技术部分，持续更新ing...）

目录第1章统计学习及监督学习概论理论部分第2章感知机理论部分技术部分第3章k近邻法理论部分技术部分第4章朴素贝叶斯法第5章决策树第6章逻辑斯蒂回归与最大熵模型第7章支持向量机第8章提升方法第9章EM算法及其推广第10章隐马尔可夫模型第11章条件随机场第1章统计学习及监督学习概论理论部分第2章感知机理论部分技术部分第3章k近邻法理论部分技术部分第4章朴素贝叶斯法(待更新…)第5章决策树(待更新…)第
城序猿·2020-08-17 16:08

统计学习方法学习笔记

监督学习的两个基本策略：经验风险最小化和结构风险最小化经验风险最小化例子：最大似然估计（当模型是条件概率分布，损失函数是对数损失函数时，经验风险最小化就等价于极大似然估计）。但是当样本容量很小时，经验风险最小化学习的效果就未必很好，会产生后面将要叙述的“过拟合”现象。为了防止过拟合，有了结构风险最小化。例子：最大后验概率估计（MAP）两种常用模型选择方法：正则化与交叉验证。学习方法的泛化能力：该方
林俊杰的小迷弟·2020-08-17 16:05

统计学方法（李航）第三章学习总结

完整的kd最近邻算法Python实现：https://www.jb51.net/article/146976.htmhttps://www.jb51.net/article/133242.htm书中例题二星号表示要查询的点（2,4.5）通过二叉搜索，顺着搜索路径很快就能找到最邻近的叶子节点（4,7），首先假设（4,7）为当前最近邻点，计算其与目标查找点的距离为3.202。回溯到（5,4），计算其与
SIVAN_HU·2020-08-17 16:01

统计学习方法读书笔记第九章：EM算法及其推广

统计学习方法读书笔记第九章：EM算法及其推广统计学习方法读书笔记第九章：EM算法及其推广EM算法的引入EM算法的收敛性EM算法在高斯混合模型学习中的应用EM算法的推广统计学习方法读书笔记第九章：EM算法及其推广
LYPG·2020-08-17 16:29

李航《统计学习方法》第二版-第3章 k近邻法 浅见

李航《统计学习方法》第二版-第3章k近邻法浅见3.0k近邻简单介绍3.1k近邻算法3.2k近邻模型3.2.1模型3.2.2距离度量3.2.3k值选择3.2.4分类决策规则3.3kd树总结3.0k近邻简单介绍
王伟王胖胖·2020-08-17 15:34

李航《统计学习方法》第二版-第1章 统计学习及监督学习概论1.6-1.8 浅见

李航《统计学习方法》第二版-第1章统计学习及监督学习概论1.6-1.8浅见1.6泛化能力1.7生成模型和判别模型1.8监督学习应用1.6泛化能力也就是我们所说的对未知数据的适应能力，预测能力，这个才是我们要的
王伟王胖胖·2020-08-17 15:02

李航统计学习方法总结与整理

感知机（perception）：二类分类的线性模型，输入为实例的特征向量，输出为实例的类别，取+1，-1。对应于输入空间中将样本实例分成正负两类的分离超平面，属于判别模型。其损失函数为：所有误分类点到分类超平面的距离总和。目的为最小化这个距离总和。其中，为误分类点到分离超平面距离。L是w,b的连续可导函数。其包括原始形式和对偶形式，采用随机梯度下降法进行求解。首先任意选择一个超平面w0，b0，然后
w_zhao·2020-08-17 15:55

统计学习方法-李航（第5章 决策树笔记)

这篇文章从思想的角度上看李航所表述的决策树，用简单易理解的方向去解释决策树。提出常见的三种决策树方法ID3,C4.5，同时分析他们的不同。
yealxxy·2020-08-17 15:58

统计学习方法第一章笔记——统计学习方法概论

1统计学习1.1统计学习的基本假设  假设同类数据具有一定的统计规律性，即数据具有某种共同性质。1.2统计学习的目的  统计学习用于对数据进行预测与分析，特别是新数据的预测与分析。1.3统计学习的方法  主要有监督学习，非监督学习，半监督学习，强化学习。本书主要讨论监督学习。1.4统计学习三要素：模型、策略和算法。2监督学习2.1基本概念  在监督学习中，将输入与输出所有可能的取值的集合称为输入空
八月夏凉·2020-08-17 15:45

李航·统计学习方法笔记·第6章 logistic regression与最大熵模型（2）·最大熵模型

李航·统计学习方法笔记·第6章logisticregression与最大熵模型（2）·最大熵模型标签（空格分隔）：机器学习教程·李航统计学习方法李航统计学习方法笔记第6章logisticregression
tina_ttl·2020-08-17 15:02
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他