统计学习笔记

数理统计学习笔记——总体与样本

数理统计是具有广泛应用的一个数学分支，它以概率论为理论基础，根据试验或观察得到的数据，来研究随机现象，对研究对象的客观规律性作出合理的估计和判断。概率论与数理统计的区别：概率论所研究的随机变量，其分布都是假设已知的，在这个前提下研究其性质、特点和规律性。数理统计所研究的随机变量，其分布是未知或不完全知道的。需要通过独立重复的观察并对观察数据进行分析，来推断其分布。数理统计方法具有“部分推断整体”的
weixin_30345055·2020-07-05 20:18

应用数理统计学习笔记（一）

1概述1数理统计是以概率论为基础，研究关于实验数据的收集、整理、分析和推断的一门学科。2在数理统计的框架下，统计推断的本质是从获取的信息中数据或者信息中得到关于所获取信息的分布的结论。在之前学习的概率论中，我们通常是从一个已知的分布情况出发，了解此分布的具体性质，而在正如上文所述，在统计中我们是通过一组数据去寻找它所符合的分布进而知道他的特点。3统计推断具体来讲包含两部分内容，分别是估计以及假设检
dizhuangrou5770·2020-07-04 14:12

应用数理统计学习笔记

本篇为研究生用应用数理统计学习笔记，参考教材有：《应用数理统计》施雨著《概率论与数理统计》吴翊著《程序员的数学2概率统计》平冈和幸著链接：假设检验专题可以看：假设检验专题复习概率论部分知识A连续型随机变量及其密度函数
千瞱·2020-07-04 01:55

概率论与数理统计学习笔记

第一章随机事件与概率第二章随机变量及其分布第三章多维随机变量及其分布第四章大数定律与中心极限定理第五章统计量及其分布第六章参数估计第七章假设检验第八章方差分析与回归分析第一章随机事件与概率1.1随机事件及其运算概率论与数理统计研究的对象是随机现象.概率论是研究随机现象的模型（即概率分布），数理统计是研究随机现象的数据收集与处理。随机现象：在一定的条件下，并不总是出现相同结果的现象称为随机现象样本空
luxialan·2020-07-02 10:47

统计学习笔记（3）——k近邻法与kd树

在使用k近邻法进行分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决的方式进行预测。由于k近邻模型的特征空间一般是n维实数向量，所以距离的计算通常采用的是欧式距离。关键的是k值的选取，如果k值太小就意味着整体模型变得复杂，容易发生过拟合，即如果邻近的实例点恰巧是噪声，预测就会出错，极端的情况是k=1，称为最近邻算法，对于待预测点x，与x最近的点决定了x的类别。k值得增大意味着整体的
qll125596718·2020-06-24 22:17

统计学习笔记（4）——朴素贝叶斯法

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。简单来说，朴素贝叶斯分类器假设样本每个特征与其他特征都不相关。举个例子，如果一种水果具有红，圆，直径大概4英寸等特征，该水果可以被判定为是苹果。尽管这些特征相互依赖或者有些特征由其他特征决定，然而朴素贝叶斯分类器认为这些属性在判定该水果是否为苹果的概率分布上独立的。尽管是带着这些朴素思想和过于简单化的假设，但朴素贝叶斯分类器在很多复杂的现实
qll125596718·2020-06-24 22:17

统计学习笔记（2）——感知机模型

感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。1.感知机模型感知机模型如下：f(x)=sign(w*x+b)其中，x为输入向量，sign为符号函数，括号里面大于等于0，则其值为1，括号里面小于0，则其值
qll125596718·2020-06-24 22:16

统计学习笔记—手撕“感知机”

统计学习方法笔记（1）—感知机引言感知机模型模型简述感知机算法思想感知机算法性质算例实现导入数据使用前两类莺尾花数据利用感知机进行线性分类小结参考轻松一刻引言下午拜读了李航老师的《统计学习方法》的感知机部分，随带跑了一个相关算例，于是将所学的知识整理到了这篇博文。不足之处望笔者多加指正。感知机模型模型简述感知机主要的功能就是把一个数据集进行二分类，例如输入人的身高体重，感知机可以判断该人是否肥胖，
Matthew.yy·2020-06-22 10:52

白话统计学习笔记—生存分析

SurvivalAnalysis（一）生存分析方法，你听说过几种？生存数据生存分析中的结局不是单一的连续变量或分类变量，而是包含了2个变量，一个是分类变量（是否发生），另一个是连续变量（发生时间）。想做生存分析的话，需要有两个必须的变量，一个是关心的结局是否发生（通常是二分类，发生或不发生），一个是结局发生的时间。生存分析的含义狭义:分析生存率、死亡率之类。广义:所谓生存和死亡，是一个泛指。任何我
解琪琪·2020-02-06 05:44

概率论与数理统计学习笔记（浙江大学-第四版）

第一章概率论基本概念1.常见概念类名称定义两个现象确定现象在一定条件下必然发生，称为确定现象随机现象在个别试验结果中呈现出不确定性，而大量重复试验中其结果又具有统计规律性的现象，称为随机现象随机试验样本空间样本点十个事件随机事件假设试验E的样本空间为S，E的样本空间S的子集，称为E的随机事件基本事件由一个样本点组成的单点集，称为基本事件必然事件示例：A=[1,2,3]，B=[1,2,3,4]，那么
red-tea·2019-12-19 01:00

概率论与数理统计

本博客用于记录概率论与数理统计学习笔记。p1绪论p2样本空间和随机事件随机试验在同样条件下重复进行知道所有试验可能出现的结果在实验室不知道这次会出现哪个结果样本空间（集合）随机试验所有可能的结果。
Matrix-yang·2019-10-14 21:04

概率论与数理统计学习笔记 （一）

绪论一、确切来说，概率论和数理统计是两个学科概率论是数学的一个分支，研究如何定量描述随机现象及其规律数理统计则是以数据为唯一研究对象，包括数据的收集、整理、分析和建模，从而对随机现象的某些规律进行预测和决策。二、怎样学习《概率论与数理统计》学思想概率统计特殊的研究对象包含了许多独特的思维方式和思想方式，特别是如何看待和处理随机规律性，是其他学科中没有的。例如：以比较各种事件出现可能性的大小进行决策
无敌的白金之星·2019-02-20 13:02

统计学习笔记：分类、标注、回归问题的定义与区别

近期在学习李航老师著作的《统计学习方法》，根据书中所述内容，同时综合了网上总结的较好的知乎和博客，对分类、标注、回归三类问题的定义与区别进行整理，同时对三类问题的区别进行总结，尤其是分类问题与回归问题的区别。1.分类问题分类问题是监督学习的一个核心问题。在监督学习中，当输出变量取有限个离散值时，预测问题便成为分类问题。监督学习从数据中学习一个分类决策函数或分类模型，称为分类器（classifier
Charles5101·2018-12-26 22:53

统计学习笔记6—逻辑斯谛回归与最大熵模型

第六章逻辑斯谛回归与最大熵模型6.1逻辑斯谛回归模型6.1.1逻辑斯谛分布6.1.2二项逻辑斯谛回归模型模型定义：将b加入到内积中：几率定义：该事件发生的概率与不发生的概率的比值。则逻辑斯谛回归的几率为：6.1.3模型参数估计模型参数w估计：极大似然估计求解过程：6.1.4多项逻辑斯谛回归6.2最大熵模型6.2.1最大熵原理鸡蛋篮子原理：在信息未知的条件下，等可能概率，即熵最大。6.2.2最大熵模
DMU_lzq1996·2018-09-24 11:05

统计学习笔记4—朴素贝叶斯法

第四章朴素贝叶斯法4.1朴素贝叶斯法的学习与分类4.1.1基本方法朴素贝叶斯法通过训练数据集学习联合概率分布。利用先验概率分布和条件概率分布求得联合概率分布：条件概率参数是指数级，太复杂—条件独立性假设：用于分类的特征在类确定的条件下是独立的。朴素贝叶斯分类器：4.1.2后验概率最大化的含义朴素贝叶斯法就是将实例分到后验概率最大的类中。因此期望风险最小化就是后验概率最大化：4.2朴素贝叶斯法的参数
DMU_lzq1996·2018-09-22 10:22

统计学习笔记3—K-近邻

第三章k-近邻法k-近邻法实质是对于新的实例，根据最邻近的训练实例的类别，通过多数表决的方式进行预测。而k-近邻法的学习过程实质是利用训练数据集对特征空间进行划分。k-近邻法的三个要素:k值选择，距离度量和分类决策。3.1k-近邻算法直观解释：在训练数据集中找到距离输入实例最近的k个点，根据这k个点来判断实例类别。算法过程：3.2k近邻模型3.2.1模型k近邻模型是指对特征空间的划分，模型三要素：
DMU_lzq1996·2018-09-21 10:41

百度统计学习笔记

百度统计是一个工具，能用来做数据分析，利用它能对网站进行分析，了解相关流量指标，网站实时信息等。百度统计的功能：网站导航栏共有9个大类，如图所示：常用报告，网站概况，百度推广，流量分析，来源分析，访问分析，转化分析，访客分析，优化分析。其中1.常用报告能添加自己所需的报告，导出格式是百度统计设定好的，pdforcsv。2.网站概况页面包含本网站的流量，趋势，关键词，来源等大致信息，显示在一个页面。
成名在望·2018-05-15 15:21

统计学习笔记（3）——k近邻法与kd树

在使用k近邻法进行分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决的方式进行预测。由于k近邻模型的特征空间一般是n维实数向量，所以距离的计算通常采用的是欧式距离。关键的是k值的选取，如果k值太小就意味着整体模型变得复杂，容易发生过拟合，即如果邻近的实例点恰巧是噪声，预测就会出错，极端的情况是k=1，称为最近邻算法，对于待预测点x，与x最近的点决定了x的类别。k值得增大意味着整体的
鸭脖·2016-07-25 10:40

概率论与数理统计学习笔记

第一章随机事件与概率第二章随机变量及其分布第三章多维随机变量及其分布第四章大数定律与中心极限定理第五章统计量及其分布第六章参数估计第七章假设检验第八章方差分析与回归分析第一章随机事件与概率1.1随机事件及其运算概率论与数理统计研究的对象是随机现象.概率论是研究随机现象的模型（即概率分布），数理统计是研究随机现象的数据收集与处理。随机现象：在一定的条件下，并不总是出现相同结果的现象称为随机现象样本空
luxialan·2016-05-06 23:00

统计学习笔记(4) 线性回归(1)

BasicIntroductionInthischapter,wereviewsomeofthekeyideasunderlyingthelinearregressionmodel,aswellastheleastsquaresapproachthatismostcommonlyusedtofitthismodel.Basicform:“≈”means“isapproximatelymodeled
jyl1999xxxx·2016-04-05 09:00

统计学习笔记(3) 监督学习概论(3)

SomefurtherstatementsonKNN:Itappearsthatk-nearest-neighborfitshaveasingleparameter,thenumberofneighborsk,comparedtothepparametersinleast-squaresfits.Althoughthisisthecase,wewillseethattheeffectivenumb
jyl1999xxxx·2016-04-01 09:00

统计学习笔记(2) 监督学习概论(2)

GeneralModel:IntheestimationmodelThereexisttwopartsoftheerror,Ourmodelcanbeimproved,buttherestillexistsomeunmeasurablevariation.Theirreducibleerrorwillalwaysprovideanupperboundontheaccuracyofourpredic
jyl1999xxxx·2016-03-30 17:00

统计学习笔记(1) 监督学习概论(1)

原作品：TheElementsofStatisticalLearningDataMining,Inference,andPrediction,SecondEdition,byTrevorHastie,RobertTibshiraniandJeromeFriedmanAnIntroductiontoStatisticalLearning.byGarethJamesDanielaWittenTrevo
jyl1999xxxx·2016-03-21 17:27

统计学习笔记(1) 监督学习概论(1)

原作品：TheElementsofStatisticalLearningDataMining,Inference,andPrediction,SecondEdition,byTrevorHastie,RobertTibshiraniandJeromeFriedmanAnIntroductiontoStatisticalLearning.byGarethJamesDanielaWittenTrevo
jyl1999xxxx·2016-03-21 17:00

统计学习笔记——k近邻法与kd树

在使用k近邻法进行分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决的方式进行预测。由于k近邻模型的特征空间一般是n维实数向量，所以距离的计算通常采用的是欧式距离。关键的是k值的选取，如果k值太小就意味着整体模型变得复杂，容易发生过拟合，即如果邻近的实例点恰巧是噪声，预测就会出错，极端的情况是k=1，称为最近邻算法，对于待预测点x，与x最近的点决定了x的类别。k值得增大意味着整体的
zhouyusong_bupt·2016-03-12 20:00

统计学习笔记（4）——朴素贝叶斯法

 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。简单来说，朴素贝叶斯分类器假设样本每个特征与其他特征都不相关。举个例子，如果一种水果具有红，圆，直径大概4英寸等特征，该水果可以被判定为是苹果。尽管这些特征相互依赖或者有些特征由其他特征决定，然而朴素贝叶斯分类器认为这些属性在判定该水果是否为苹果的概率分布上独立的。尽管是带着这些朴素思想和过于简单化的假设，但朴素贝叶斯分类器在很多复杂的现
qq_26898461·2016-01-08 10:00

统计学习笔记（3）——k近邻法与kd树

在使用k近邻法进行分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决的方式进行预测。由于k近邻模型的特征空间一般是n维实数向量，所以距离的计算通常采用的是欧式距离。关键的是k值的选取，如果k值太小就意味着整体模型变得复杂，容易发生过拟合，即如果邻近的实例点恰巧是噪声，预测就会出错，极端的情况是k=1，称为最近邻算法，对于待预测点x，与x最近的点决定了x的类别。k值得增大意味着整体的
qq_26898461·2016-01-08 10:00

统计学习笔记（2）——感知机模型

 感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。1.感知机模型    感知机模型如下：f(x)=sign(w*x+b)    其中，x为输入向量，sign为符号函数，括号里面大于等于0，则其值为1，括号
qq_26898461·2016-01-08 10:00

统计学习笔记（1）——统计学习方法概论

1.统计学习     统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科，也称统计机器学习。统计学习是数据驱动的学科。统计学习是一门概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科。    统计学习的对象是数据，它从数据出发，提取数据的特征，抽象出数据的模型，发现数据中的知识，又回到对数据的分析与预测中去。统计学习关于数据的基本假设是同
qq_26898461·2016-01-08 10:00

统计学习笔记-KNN的缺陷

KNN的特点决定了当数据维度较高时，搜索k个最近邻，就需要k次全局计算，计算量太大。故而才有了KD树这样的思想，让空间划分为若干个子空间，形成树状的结构，搜索最近邻时，从叶子向上回溯。这样就把一个全局空间计算的问题，变成了局部空间计算的问题。
a_step_further·2015-11-01 11:00

随笔：JS统计学习笔记

1. 基础套餐 　　基本接口说明： 　　monitor.setUrl() 默认是当前页面的URL(去除?以后的字符)            如：monitor.setUrl(‘http://a.com/a.html?b=c&d=e’) 　　monitor.setId() 获取cId
·2015-10-31 09:29

概率论与数理统计学习笔记五：假设检验（未完待续）

1.问题提法和基本概念   1）例子与问题提法       a）假设：一个其正确与否有待通过样本区判断的陈述       b）检验：动词指判断全过程的操作；名词指判断准则       c）接受该假设：“认为假设正确”在统计学上称为接受该假设       d）否定或拒绝该假设：“认为假设不正确”       e）原假设和对立假设           原假设（零假设、解消假设）：在假设检验中，常把一个
zhang22huan·2013-03-10 23:00

概率论与数理统计学习笔记四：参数估计

1.数理统计学的基本概念1）什么是数理统计学a）使用概率论和数学的方法b）研究怎样收集（通过试验或观察）带有随机误差的数据c）并在设定的模型（统计模型）之下，对这种数据进行分析（称为统计分析）d）以对所研究的问题作出推断（统计推断）e）统计问题：参数估计和假设检验2）总体a）定义：与所研究问题有关的对象（个体）的全体所构成的集合。总体随所研究的范围而定b）统计总体：赋有一定概率分布的总体c）总体概
坚持就是胜利z·2013-03-09 17:19

概率论与数理统计学习笔记四：参数估计

1.数理统计学的基本概念   1）什么是数理统计学       a）使用概率论和数学的方法       b）研究怎样收集（通过试验或观察）带有随机误差的数据       c）并在设定的模型（统计模型）之下，对这种数据进行分析（称为统计分析）       d）以对所研究的问题作出推断（统计推断）       e）统计问题：参数估计和假设检验   2）总体       a）定义：与所研究问题有关的对象
zhang22huan·2013-03-09 17:00

概率论与数理统计学习笔记三：随机变量的数字特征

1. 数学期望（均值）与中位数   1）数学期望的定义       a）取有限个值的离散型随机变量的数学期望       b）取无穷个值的离散型随机变量的数学期望       c）连续型随机变量的数学希望       d）特例：离散（波瓦松分布、负二项分布）；连续（均匀分布；指数分布；正态分布）       e）数学期望由随机变量的分布完全决定，但在某些问题中，难于决定某些变量的分布如何，但有相当
zhang22huan·2013-03-03 16:00

概率论与数理统计学习笔记二：随机变量及其概率分布

1.一维随机变量  1）随机变量的概念    a）随机变量的定义：“其值随机会而定”的变量，是试验结果的函数    b）随机变量的反面为确定性变量，其取值遵循某种严格的规律的变量；    c）随机事件与随机变量的关系：前者从静态观点来研究随机现象，后者从动态观点    d）随机变量的分类（按其可能取的值的全体的性质）：离散型随机变量（只能取有限个值）和连续性随机变量（取值充满某一个区间，数学上抽象
zhang22huan·2013-01-27 12:00

概率论与数理统计学习笔记一：事件的概率

参考文献：《概率论与数理统计》-陈希孺1.概率是什么   1）主观概率       （1）主观概率含义：为根据其经验和知识及利害关系的一种心态或倾向性       （2）主观概率特点：不是在坚实的客观理由基础上为人们所公认；但不能从科学角度简单的全盘否定，（a）该概念有广泛的生活基础；（b）可能反映认识主体的一种倾向性，而有其社会意义；（c）在涉及利益得失的决策中，处于不同地位和掌握情报多少不同的
zhang22huan·2013-01-01 12:00

统计学习笔记（4）——朴素贝叶斯法

     朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。简单来说，朴素贝叶斯分类器假设样本每个特征与其他特征都不相关。举个例子，如果一种水果具有红，圆，直径大概4英寸等特征，该水果可以被判定为是苹果。尽管这些特征相互依赖或者有些特征由其他特征决定，然而朴素贝叶斯分类器认为这些属性在判定该水果是否为苹果的概率分布上独立的。尽管是带着这些朴素思想和过于简单化的假设，但朴素贝叶斯分类器在很多
qll125596718·2012-12-27 12:00

统计学习笔记（3）——k近邻法与kd树

    在使用k近邻法进行分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决的方式进行预测。由于k近邻模型的特征空间一般是n维实数向量，所以距离的计算通常采用的是欧式距离。关键的是k值的选取，如果k值太小就意味着整体模型变得复杂，容易发生过拟合，即如果邻近的实例点恰巧是噪声，预测就会出错，极端的情况是k=1，称为最近邻算法，对于待预测点x，与x最近的点决定了x的类别。k值得增大意味
qll125596718·2012-12-24 12:00

统计学习笔记（2）——感知机模型

    感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。1.感知机模型   感知机模型如下：f(x)=sign(w*x+b)   其中，x为输入向量，sign为符号函数，括号里面大于等于0，则其值为1，括
qll125596718·2012-12-23 12:00

统计学习笔记（1）——统计学习方法概论

1.统计学习统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科，也称统计机器学习。统计学习是数据驱动的学科。统计学习是一门概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科。统计学习的对象是数据，它从数据出发，提取数据的特征，抽象出数据的模型，发现数据中的知识，又回到对数据的分析与预测中去。统计学习关于数据的基本假设是同类数据具有一定的统
qll125596718·2012-12-20 12:47

统计学习笔记（1）——统计学习方法概论

1.统计学习    统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科，也称统计机器学习。统计学习是数据驱动的学科。统计学习是一门概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科。    统计学习的对象是数据，它从数据出发，提取数据的特征，抽象出数据的模型，发现数据中的知识，又回到对数据的分析与预测中去。统计学习关于数据的基本假设是同类
qll125596718·2012-12-20 12:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他