统计学习方法李航第22页

机器学习-统计学习方法算法笔记

监督学习感知机--二类分类的线性分类模型输出1和-1f(x)=sign(wx+b)学习策略：损失函数为误分类点到超平面的总距离L(w,b)=-∑y(wx+b)最优化算法：随机梯度下降法：首先选取一个超平面，一次极小化一个误分类点k近邻法(knn)--找到与输入实例最近的k个实例，这k个实例多数属于某个类，就把该实例归于这个类当k=1时为最近邻算法通常采用交叉验证选取最优k值分类决策规则：多数表决朴

kate2020·2020-08-30 15:34

逻辑回归

逻辑回归0.引言本文主要参考了李航的《统计学习方法》，算做学习笔记。1.二元逻辑回归模型定义二元逻辑回归是一种分类模型，由条件概率来表示，其中随机变量是实数，随机变量的取值范围是{0,1}。

吴金君·2020-08-26 23:32

李航统计学习方法-感知机python实现

1、理论中原始算法的实现#利用Python实现感知机算法的原始形式#-*-encoding:utf-8-*-importnumpyasnpimportmatplotlib.pyplotaspltdefcreateData():samples=np.array([[3,-3],[4,-3],[1,1],[1,2]])labels=[-1,-1,1,1]returnsamples,labelsclas

JohnBanana·2020-08-26 16:36

统计学习方法-感知机-原始形式与对偶形式-python代码实现

感知机取书本上的正例点（3，3），（4，3），负例点（1，1）以下是感知机的python代码实现：原始形式代码：importnumpyasnpimportmatplotlib.pyplotaspltdata=np.array([[3,3,1],[4,3,1],[1,1,-1]])X=data[:,:2]y=data[:,-1]classPerceptron:def__init__(self):se

土豆家的地瓜啊·2020-08-26 15:57

Xgboost

参考：1、https://www.cnblogs.com/jiangxinyang/p/9248154.html2、《统计学习方法》李航

chenfeiting·2020-08-26 15:14

原始感知机+对偶感知机的实现（python版）

本文是参照：李航《统计学习方法》实现，如果遇到问题请参看书。

Senn_森·2020-08-26 14:33

python简单实现感知机对偶形式

完全对照统计学习方法fromnumpyimport*data_set=array([[[3,3],1],[[4,3],1],[[1,1],-1]])eta=1n=len(data_set)gram=zeros

ZhangCM_EDC·2020-08-26 13:44

《李航统计学习方法》第二章：感知机学习算法 - 算法代码

1.感知机学习算法的原始形式#-*-coding:utf-8-*-'''《李航统计学习方法》算法2.1（感知机学习算法的原始形式）e.g.2.2'''defPerceptron_Study_basic(

potato_cyy·2020-08-26 13:09

《统计学习方法》KD树的构建与查找Python实现

关于KD树的构建和查找的理论可参考《统计学习方法》第三章以及这篇博文https://zhuanlan.zhihu.com/p/23966698，importosimportcsvimportnumpyasnpimportstringimportpandasaspdimportoperatorimportreasreimporttimeimportdatetimeclassKD_node

MrTimber·2020-08-26 13:38

李航老师《统计学习方法》(第2版）课件分享，附下载

参考：AI派李航博士的《统计学习方法》可以说是机器学习的入门宝典。现如今，统计学习方法（第2版）于今年5月份出版，在第一版监督学习的基础上，增加了无监督学习内容，更加丰富，是非常值得学习材料。

l7H9JA4·2020-08-26 13:36

统计学习（李航）——感知机(Python)+对偶问题

感知机代码对偶问题我们要解决原问题（很复杂），我们可以把原问题转化成一个新的问题（对偶问题），新问题的最优值（d_）等于原问题的最优值(p_)，这样我们要解决原问题只需解决新问题就可以了。一般优化问题原问题用Lagrangian函数解仿射函数是又凸又凹的，线性函数就是仿射函数借鉴b站对偶理论（SVM）、对偶理论

阿兰啊·2020-08-26 11:46

《统计学习方法》感知机学习算法原始形式和对偶形式的python实现

importosimportcsvimportnumpyasnpimportstringimportpandasaspdimportoperatorimportreasreimporttimeimportdatetimedefperception_train(train_root,threshold=0.9,lr=1):train=pd.read_csv(train_root,header=Non

MrTimber·2020-08-26 11:41

99岁老人在吉大一院成功植入“中国心”

据吉林大学第一医院心血管内科李航教授介绍，这位超高龄患者入院时心率仅49次/分钟，并伴有胸闷气短、呼吸困难等症状，经

健康报·2020-08-26 00:00

线性回归之最小二乘法简要解析

难怪《统计学习方法》中提到，

djd已经存在·2020-08-25 16:25

一份火爆AI圈的高分深度学习入门讲义，李航、马少平领衔多位科学家力荐！...

“要不要在算法中预置一些先天知识，就像人类一样？”纽约大学知名的神经科学教授GaryMarcus向深度学习界大佬YannLeCun发出提问。换句话说，GaryMarcus的潜在意思是，虽然深度学习感知机和语言翻译上取得长足进步，但AI的可解释性较差，深度学习的向量无法映射人脑的计算过程，不能完全处理抽象推理和决策。比如，深度学习受有效盲点影响，出现的“对立图像”，产生的不连续问题，至今无法得到有效

turingbooks·2020-08-24 20:15

李航《统计学习方法》系列Python实现

jiangjiane·2020-08-24 14:38

机器学习:基础概念

本文是笔者学习李航老师的经典教材《统计学习方法》第一章的学习笔记，分享在此，作为机器学习系列的开篇文章，在本系列中，将会逐一总结介绍主要的机器学习算法的基本原理、基于Python的具体实现、使用sklearn

dengnai9214·2020-08-24 14:00

超平面公式推导及理解

最近在学习《统计学习方法》，在学习第一个机器学习算法——感知机时，提出了超平面的概念，以下为超平面公式的推导及空间中任意一点距离超平面距离的推导。方便日后复习。

Alina_M·2020-08-24 12:09

Shell主要逻辑源码级分析(1)——SHELL运行流程

weixin_33859665·2020-08-24 10:38

核心1组～李航2018.7.3-7.8本周计划

工作做好设计本职工作知识星球打卡早睡早起加运动督促伙伴知识星球打卡学习读完《工作整理术》结构化六个分类，学习完，每天整理2个例子试讲每天1个普通话每天一篇古诗2首练字发每天做练习3次生活keep运动20分钟或者跑步3公里每周大扫除一次晚上陪伴孩子，给他讲故事感悟生活越来越充实，因为有了目标而有了动机，向宇宙下订单，做最好的自己。越来越自律，你有多自律，就有多自由。读书感悟看了2章《工作整理术》，自

梦之启航20171028·2020-08-24 08:12

数据挖掘系列-朴素贝叶斯分类算法原理与实践

一个简单的例子朴素贝叶斯算法是一个典型的统计学习方法，主要理论基础就是一个贝叶斯公式，贝叶斯公式的基本定义如下：这个公式虽然看上去简单，但它却能总结历史，预知未来。

梦幻之窗·2020-08-24 04:09

自制基于HMM的python中文分词器

主流中文分词方法包括基于规则的分词，基于大规模语料库的统计学习方法以及在实践中应用最多的规则与统计综合方法。隐马尔科夫模型(HMM)是中文分词中一类常用的统计模型，本文将使用该模型构造分词器。

weixin_33924220·2020-08-24 03:06

分类问题的精确率和召回率 (准确率)

参考李航的统计学习方法TP--将正类预测为正类数；FN--将正类预测为负类数；FP--将负类预测为正类数；TN--将负类预测为负类数；准确率（accuracy）A=(TP+TN)/(P+N)=(TP+TN

weixin_30722589·2020-08-24 03:17

决策树算法(DecisionTree)

手动实现决策树算法算法使用如下数据集（来自统计学习方法）：https://github.com/xu1995yong/ml/tree/master/python%E5%AE%9E%E7%8E%B0代码：

xu1995yong·2020-08-24 03:01

viterbi算法结合中文分词

这里转载一篇文章，看这位博主写的这篇讲解，结合李航老师的《统计机器学习》，可以理解这个算法和在中文分词中的应用。博文链接在此

菜鸟要飞翔·2020-08-24 02:21

自然语言处理--HMM.MEMM,CRF(二)

EM(expectationmaximization期望最大)算法本篇严重抄袭李航博士的《统计学习方法》，望周知上篇我们说了朴素贝叶斯模型，说了用极大似然估计贝

晚照·2020-08-24 02:52

线性可分支持向量机凸二次规划解决原问题 python

问题来自李航的《统计学习方法》第二版中例题7.1。

Zetaa·2020-08-24 01:49

机器学习三要素

参考《统计学习方法》李航P61.三要素组成机器学习=模型+策略+算法1.1模型模型：判别模型，生成模型具体参考：https://blog.csdn.net/qq_21768483/article/details

Matrix-yang·2020-08-24 01:39

混淆矩阵，准确率，精确率，召回率，Roc曲线

参考了统计学习方法，概率论与数理统计，工程线性代数，西瓜书，MachineLearnigwithpython做的总结，所以不能作为教程，还包含自己用sklearn做的一些对比实验，原文是写在jupyter

geter_CS·2020-08-24 00:50

使用R完成决策树分类

关于决策树理论方面的介绍，李航的《统计机器学习》第五章有很好的讲解。

肥萝卜使大力·2020-08-23 23:41

2020年的春招经历-算法工程师篇

春招经验基础知识准备必看的两本书扩展阶段面试经验基础知识准备必看的两本书书名链接剑指offer点我进入统计学习方法点我进入何海涛的《剑指offer》主要介绍了一些笔试中常常用到的算法，如：滴滴笔试题中

zhangkkit·2020-08-23 08:39

统计学习方法（三）1-least_sqaure_method

目录1、最小二乘法拟合曲线2、正则化3、简单交叉验证4、样条插值1、最小二乘法拟合曲线[第一章]最小二乘法根据高斯-马尔科夫定理,在线性回归模型(y=βx+εy=\betax+\varepsilony=βx+ε)中，如果误差ε\varepsilonε满足零均值、等方差、互不相关，则最小二乘法估计的回归系数β^\hat\betaβ^满足最佳线性无偏估计，即方差最小。使用最小二乘法拟和曲线对于数据(x

Sponge Bob·2020-08-23 08:00

统计学习方法-概率潜在语义分析（PLSA）-读书笔记

统计学习方法-PLSA-读书笔记1、前言2、概率潜在语义分析模型2.1生成模型2.2共现模型3、概率潜在语义分析算法1、前言概率潜在语义分析，是一种利用概率生成模型对文本集合进行话题分析的无监督学习方法

qq_38829768·2020-08-23 06:00

《统计学习方法》（第三章）—— K邻近

K邻近算法定义:给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把该输入实例分为这个类。算法：输入：训练数据集： T={(x1,y1),(x2,y2),....,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),....,(x_N,y_N)\}T={(x1,y1),(x2,y2),....,(xN,yN)}其中x

mkopvec·2020-08-23 06:08

pLSA概率潜在语义分析

概率潜在语义分析（PLSA）李航《统计学习方法》：习题代码实现pLSA用于主题模型：实例PLSAintroduction:http://blog.tomtung.com/2011/10/plsa

满腹的小不甘·2020-08-23 04:50

李航统计学习方法第一章课后习题答案

blog.csdn.net/a358463121/article/details/52562940https://blog.csdn.net/guohecang/article/details/523130461、统计学习方法三要

天天~·2020-08-22 23:34

Viterbi 算法学习（附代码和注解）

例子是参考李航的《统计学习方法》P18610.3。如果不明白术语的话，看一下P17310.1。#include#include#includeusingnamesp

CY_TEC·2020-08-22 20:36

【统计学习方法-李航-笔记总结】十一、条件随机场

本文是李航老师《统计学习方法》第十一章的笔记，欢迎大佬巨佬们交流。

zl3090·2020-08-22 15:56

《统计学习方法》线性模型的读书笔记

逻辑回归：基本原理：1）正负样本为1和0：预测函数：将输入特征x乘以线性回归系数w（可以增加截距b），得到z=wTx+b。选择f(z)=1/(1+exp(z))函数作为sigmoid函数，作为预测类别为正样本的概率值h(x)，负样本概率值为1-h(x)，将正负样本概率值求商之后再取对数，即概率比值对数ln(h(x)/(1-h(x)))=wTx为一个线性模型。如何求解最优的w：首先要构造目标函数，目

csdn_youth0605·2020-08-22 15:51

统计学习方法笔记（十五）条件随机场（三）

条件随机场的预测算法预测问题：给定条件随机场P(Y|X)P(Y|X)和输入序列（观测序列）x，求条件概率最大的输出序列y∗y∗。条件随机场的预测算法是著名的维特比算法。y∗=argmaxyPw(y|x)=argmaxy(wF(y,x))y∗=arg⁡maxy⁡Pw(y|x)=arg⁡maxy⁡(wF(y,x))条件随机场的预测问题变为求非规范化概率最大的最优路径问题：maxy(wF(y,x))ma

yeyustudy·2020-08-22 15:44

统计学习方法笔记（十五）条件随机场（二）

yeyustudy·2020-08-22 15:44

统计学习方法笔记（十五）条件随机场（一）

条件随机场条件随机场是给定一组输入随机变量条件下另一组输出随机变量的条件概率模型，其假设输出随机变量构成马尔可夫随机场概率无向图模型概率无向图模型，又称为马尔可夫随机场，是一个可以由无向图表示的联合概率分布。一、模型定义1、图是由结点及连接节点的边组成的集合。无向图是指边没有方向的图。概率图模型是由图表示的概率分布。设有联合概率分布P(Y)P(Y)，YY是一组随机变量，由无向图G=(V,E)G=(

yeyustudy·2020-08-22 15:43

ArimaKisho·2020-08-22 15:59

统计学习方法学习笔记：第十一章.条件随机场

第十一章：条件随机场CRF(conditionalrandomfield）是一组输出随机变量的条件概率模型\color{red}{一组输出随机变量的条件概率模型}一组输出随机变量的条件概率模型，并且假设输出随机变量构成马尔可夫随机场\color{red}{输出随机变量构成马尔可夫随机场}输出随机变量构成马尔可夫随机场概率无向图模型若概率分布P(Y)满足成对、局部或全局马尔可夫性，\color{re

小滔滔ahh·2020-08-22 14:22

机器学习算法(逻辑回归)-Lect02

《机器学习》李航.《统计学习方法》cs229notes吴恩达机器学习-网易云课堂1、Logistic回归损失函数的极大似然推导：西瓜书公式3.27怎么推来的？

sincolxu2018·2020-08-22 14:52

数学之美到统计学习方法第十一章条件随机场 ——从应用到公式推导

文章目录一从应用问题引入1.1从HMM到CRF1.2[如何轻松愉快地理解条件随机场（CRF）？](https://www.jianshu.com/p/55755fc649b1)二概率无向图模型2.1概率图模型定义2.2概率无向图的因子分解三条件随机场（CRF）基本问题3.1条件随机场定义3.2CRF参数化形式3.3CRF简化形式3.4CRF矩阵形式四CRF概率计算问题摘要：数学之美致力于普通人

李滚滚·2020-08-22 14:32

条件随机场

>>>本文是《统计学习方法》第11章的笔记，在课本的基础上加入了自己的注释和理解。作为CRF的入门读物，著名的几篇英文教程难度稍高，还是李航博士的《方法》比较适合初学者。

weixin_33873846·2020-08-22 14:55

条件随机场学习笔记

条件随机场学习笔记前言这是在《统计学习方法》中学习到的最后一个方法了，不像其他统计方法，学完精气神超足，都能让我继续振奋好几日。然学完该方法，我陷入了沉思与迷茫。

Demon的黑与白·2020-08-22 14:47

读书笔记《统计学习方法》

支持向量机线性可分支持向量机与硬间隔最大化函数间隔与几何间隔用点到超平面的距离来衡量预测为正类的确信度：点距离超平面，离得越远越确信，离得越近越不确信。使用点到超平面的举例表示预测的确信程度。函数间隔：wx+b的符号与类标记y的符号是否一致，可以用来表示分类是否正确。用量y(w·x+b)来表示分类的正确性及确信度。|w·x+b|可以相对的表示点x离超平面的远近，因为该值与x到超平面的真正距离成正比

sharp·2020-08-22 13:47

统计学习方法--条件随机场1

条件随机场：给定一组输入随机变量条件下，获得另一组输出随机变量的条件概率分布模型。特点：假设输出随机变量构成马尔可夫随机场。这里主要讲：线性链条件随机场概率无向图模型：又称马尔可夫随机场，是一个由无向图表示的联合概率分布。模型定义：成对马尔可夫性：局部马尔可夫性：全局马尔可夫性：如果联合概率分布P（Y）满足成对、局部或全局马尔可夫性，则称联合概率分布为概率无向图模型，或马尔可夫随机场。解概率无向图

778811·2020-08-22 13:00

推荐频道

统计学习方法李航