前言EM算法是一种迭代算法，1977年由Dempster等人总结提出，用于含有隐变量（hiddenvariable）的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望（expection）；M步，求极大值（maximization），所以这一算法称为期望极大算法（exceptionmaximizationalgorithm），简称EM算法。极大似然估计极大

转自个人微信公粽号【易学统计】的统计学习笔记：R语言：多水平统计模型01解决何种问题同样是九年义务教育，凭什么别人那么优秀？显然这跟每个人，不同班级，不同学校有关系，究竟是什么样的关系呢？

点估计：目的：总体分布已知情况下，借助样本来估计总体的未知参数方法：矩估计法：样本一阶矩为总体的一阶矩(即期望)，样本二阶中心矩为总体的二阶中心矩(即方差)最大似然估计法：利用已知样本结果信息，反推最有可能得到样本结果出现的模型参数值估计量的评选标准：无偏性，有效性，相合性区间估计：估计出参数范围，同时给出此区间包含真实值的可信程度置信区间：反复多次抽样，样本值确定的统计量区间置信水平：1-a指置

概率与数理统计学了好几遍都学不清楚，今天再刷一遍，整理出第一篇学习笔记。随机变量：随机事件的数量表现，两种类型，离散型随机变量和连续型随机变量离散型随机变量：变量取值有限个分布律：每个取值的概率0-1分布：取值只有0和1伯努利试验，二项分布：伯努利试验是试验结果只有正反两种结果的试验；二项分布是n重伯努利试验；二项分布当n=1结果就是0-1分布泊松分布：近似二项分布概率的计算方式，当n>20,p=

假设检验的目的：判断样本与样本，样本与总体的差异是由抽样误差造成还是本质差别造成；或是为了判断推断总体特征作出的假设是否应该接受名词解释显著性水平：原假设为真却被拒绝的概率（简称弃真概率）提出相互对立的两个假设。原假设H0通常是要被反驳的假设，备择假设H1是认为相对正确的假设检验统计量：统计量差值做过标准化之后的值（下文用差异标准值代替）拒绝域：检验结果落入此区域会被拒绝假设检验的验证方式有2种：

转自个人微信公粽号【易学统计】的统计学习笔记：R软件：广义相加模型(GAM)01解决何种问题前面一期和大家分享如何运用样条回归处理遇到的非线性问题，但这适合处理单个因变量Y对应一个自变量X的问题，而现实情况是

转自个人微信公粽号【易学统计】的统计学习笔记：R语言：两因素重复测量方差分析01研究问题有研究将14名肥胖者随机分成2组，1组用A种减肥药，另一组用B种减肥药，坚持服药6个月，期间禁止使用任何影响体重的药物

参考书：《统计学习方法》——李航统计学习的三要素为：模型、策略、算法。写在前面的话：以下以监督学习为基础来进行论述。监督学习的假设：在监督学习当中，我们假设输入和输出的随机变量和服从联合概率分布，训练数据和测试数据被看做是依联合概率分布独立同分布产生的。一、模型在监督学习当中，我们的目的是学习一个由输入到输出的映射，这个映射就是模型。一般来说，模型有两种形式，一种是概率模型（条件概率分布），另一种

转自个人微信公众号【Memo_Cleon】的统计学习笔记：生存分析之Cox回归。随访资料的生存分析是一个很大的题目。从分析的因素上看，有单因素分析和多因素分析。

转自个人微信公众号【Memo_Cleon】的统计学习笔记两个概念：RR和OR二分类资料的logistic回归SPSS操作示例几个需要注意的问题：样本量、哑变量、模型拟合效果和拟合优度检验、多重共线【1】

目录一.条件概率的定义二、乘法定理三、全概率公式四、贝叶斯(Bayes)公式一.条件概率的定义2.条件概率的基本性质3.条件概率的其它性质：二、乘法定理三、全概率公式四、贝叶斯(Bayes)公式

概率论的基本概念1、随机试验随机试验具有以下特点：可以在相同的条件下重复地进行；每次试验的可能结果不止一个，并且能事先明确试验的所有可能结果；进行一次试验之前不能确定哪一个结果会出现。2、样本空间、随机事件2.1、样本空间我们将随机试验E的所有可能结果组成的集合成为E的样本空间，记为S。样本空间的元素，即E的每个结果，称为样本点。2.2、随机事件一般，我们称试验E的样本空间S的子集为E的随机事件，

概率的数学定义：我们能够理解的概率的定义是：某个事件发生的可能性的大小。但是这不是数学定义，其实概率的定义不好正面描述，我的老师在上课的时候也只给出了其的特点，相当于侧面描述：1.任何一个事件发生的概率一定大于等于0，即P(A)>=0.2.必然事件发生的概率为1，P(Ω）=1.3.对于两两互不相容的可列无穷多个事件A1，A2，……，An有P(A1UA2UA3UA4…UAn)=P(A1)+P(A2)

目录1.背景2.全概率公式3.贝叶斯公式1.背景下图是本文的背景内容，小B休闲时间有80%的概率玩手机游戏，有20%的概率玩电脑游戏。这两个游戏都有抽卡环节，其中手游抽到金卡的概率为5%，端游抽到金卡的概率为15%。已知小B这天抽到了金卡，那么请问他是在手机上抽到的还是在电脑上抽到的？2.全概率公式上述问题中，我们先考虑小B抽到金卡这件事的概率，设玩电脑的概率为P(c)P(c)P(c)，玩手机的概

转自个人微信公粽号【易学统计】的统计学习笔记：R语言实现Cox模型校准度曲线绘制研究背景这是关于cox模型的第二篇文章，上一篇文章分享了运用Lasso回归如何筛选变量，将筛选后的变量绘制Nomogram

转自个人微信公粽号【易学统计】的统计学习笔记：R语言pec包深度验证Cox模型研究背景在cox回归中，如何利用已经构建好的预测模型预测单个患者的生存概率呢？

转自个人微信公粽号【易学统计】的统计学习笔记：R语言：广义估计方程(GEE)01解决何种问题在临床研究中，经常会比较两种治疗方式对患者结局的影响，并且多次测量结局。

5.1树的定义树的最顶端叫根节点，所有样本的预测都是从根节点开始的每一个圆形节点表示判断，每个节点只对样本的某个属性进行判断。矩形节点是标记节点，走到矩形节点表示判断结束，将矩形节点中的标签作为对应的预测结果。怎么构建决策树？如果苹果的样本还有一个特征叫形状，我们为形状建立球形和立方型两个分支，显然所有的样本都会到球形分支里面去，这样的判断没有进行有效地划分。此外根据某个特征X，10个苹果中9个会

方差分析（ANOVA）又称F检验。方差分析是判定方差在组间和组内是否（明显）具有区别的一种方法。如果组内差异相对于组间差异较小，则可以推断出组与组之间是有明显差异的。从形式上看，方差分析与t检验或z检验区别不大，都是检验均值是否相等，但方差分析可以同时比较多个均值。广义的方差分析分为：单因素方差分析（1-wayANOVA）双因素方差分析（2-wayANOVA）与多因素方差分析（N-wayANOVA

文章目录1.假设检验原假设和备择假设第一类错误和第二类错误p值2.U检验单样本U检验双样本U检验3.T检验单样本T检验双样本T检验（σ12=σ22=σ2\sigma_1^2=\sigma_2^2=\sigma^2σ12=σ22=σ2未知时）3.F检验单样本正态总体方差检验双样本正态总体方差检验（方差齐性检验）1.假设检验这里只讨论双侧参数假设检验，不包含单侧及非参的假设检验。原假设和备择假设在参数

1.1导论统计学习监督学习的实现步骤:得到一个有限的训练数据集合确定模型的假设空间，也就是所有的备选模型确定模型选择的准则，即学习的策略实现求解最优模型的算法通过学习方法选择最优模型利用学习的最优模型对新数据进行预测或分析监督学习训练集：T={(x1,y1),(x2,y2),⋯ ,(xN,yN)}T=\left\{\left(x_{1},y_{1}\right),\left(x_{2},y_{2}

转自个人微信公众号【Memo_Cleon】的统计学习笔记：多元线性回归。这次笔记的内容是多元线性回归的SPSS操作及解读。

在机器学习与深度学习中，特别是"模型已定，参数未知"的情况下，普遍使用最大似然估计法学习参数。为了后面学习中能够找得到地方复习这些概率论知识，所以这里整理了极大似然估计的笔记，所有参考内容放在最后。对了宝贝儿们，卑微小李的公众号【野指针小李】已开通，期待与你一起探讨学术哟~摸摸大！目录1似然与概率2似然函数3极大似然估计4参考1似然与概率似然（likelihood）与概率（probability）

1.KNN实现我的理解就是，找到最接近的K个邻居，根据邻居的类别，确定自己的类别。怎么确定呢？K个邻居进行投票。包括：输入一个新的实例在已知的训练数据集中计算该新的实例与训练数据集中数据点之间的距离按照距离进行排序选择距离最短的也就是最相似的前K个邻居这K个邻居根据自己的类别进行投票，票数最多的类别就是该新的实例的类别。2关于可哈希(hashable)简要的说可哈希的数据类型，即不可变的数据结构(

转自个人微信公众号【Memo_Cleon】的统计学习笔记：重复测量数据分析系列：再谈多层混合效应模型（基于Stata）。感觉从来没有一个模型有这么多的名字。

（尾巴：补充一些例子）4.1直观理解条件概率例子4.1：女朋友和妈妈掉河里了，路人拿出来3颗豆,两颗红豆1颗绿豆。如果我抽中红豆救女朋友,抽中绿豆救妈妈。我和路人各自抽了一颗,路人发现自己抽中的是绿豆，他想用剩下的那颗和我换，我换不换？换不换豆女朋友活下去的概率一样吗？直觉来讲：换不换豆我抽中红豆的概率应该都是1/31/31/3。这时路人跟我说他的是绿豆,排除一颗,我抽中红豆的概率是1/21/21

对了宝贝儿们，卑微小李的公众号【野指针小李】已开通，期待与你一起探讨学术哟~摸摸大！目录1离散型随机变量1.1（0-1）分布1.2伯努利试验1.3二项分布1.4几何分布1.5泊松分布2.连续型随机变量2.1分布函数与概率密度函数2.2均匀分布2.3指数分布2.4正态分布2.4.1标准正态分布2.4.2一般正态分布References1离散型随机变量离散型随机变量指的是取到的值时有限个或者可列无限多

1.指数分布的定义2.指数分布的分布函数3.指数分布的重要性质——无记忆性4.指数分布的应用示例——元器件的寿命与其已使用无关（指数分布又被称为永远年轻分布）5.泊松分布与指数分布的关系6.指数分布的应用示例

第七章支持向量机(SupportVectorMachines,SVM)前言支持向量机这部分的知识点断断续续看了一周，看的头疼，至今仍有许多疑惑。在理解透彻之前先记下部分总结，也包括一些不懂的点，整理一下看的知识点，等有时间再回过头来仔细看看。支持向量机(SupportVectorMachine,SVM)的大名想必大家早有耳闻，其功能强大且用途广泛，既可以进行线性分类也可以进行非线性分类，甚至还可以

转自个人微信公众号【Memo_Cleon】的统计学习笔记：R笔记：正态分布的检验。正态分布的检验方法有很多，我们在>做过介绍，本文介绍的R软件的检验。每种方法在R中都有很多程序包可以实现。

这篇文章主要是从一个直观的概念上讲解联合概率、条件概率与边缘概率。主要是之前看了篇论文，用的SO-PMI算法，然后我就恶补了一下联合概率。本篇博客采用的参考书是《程序员的数学2概率统计》。目录联合概率边缘概率条件概率参考这里先画一个程序员的数学上面的图，方便后续阐述，图没有书上那么好看，凑合一下：红色部分代表住宅，白色部分代表工厂，蓝色部分代表农田。左边是A县，中间是B县，右边是C县。我发现国外的

随机变量的函数的分布定理设随机变量XXX具有概率密度fX(x),−∞<x<∞f_X(x),-\infty<x<\inftyfX(x),−∞0(或者恒有g′(x)<0g'(x)<0g′(x)<0)，则Y=g(X)Y=g(X)Y=g(X)是连续型随机变量，其概率密度为fY(y)={fx[h(y)]∣h′(y)∣,α<y<β,0,其他f_Y(y)

5.1条件概率AAA已经发生的条件下，BBB发生的概率，记为P(B∣A)P(B|A)P(B∣A)定义：设A,BA,BA,B是两个事件，且P(A)>0P(A)>0P(A)>0，称P(B∣A)=P(AB)P(A)P(B|A)=\frac{P(AB)}{P(A)}P(B∣A)=P(A)P(AB)为在事件A发生的条件下，事件B发生的条件概率可以把字母看成面积，把概率看作面积占比,则P(AB)=

均匀分布若连续型随机变量XXX具有概率密度为f(x)={1b−a,a<x<b0,其他f(x)=\begin{cases}\frac{1}{b-a},a<x<b\\0,其他\end{cases}f(x)={b−a1,a00,其他其中θ>0\theta>0θ>0，则称XXX服从参数为θ\thetaθ的指数分布。性质（无记忆性）：对于任意s,t>0s,t>

【统计学习笔记】习题一1.1.1伯努利分布的极大似然估计P(X=1)=θP(X=0)=1−θP(X=1)=\theta\quadP(X=0)=1-\thetaP(X=1)=θP(X=0)=1−θ设随机变量

【统计学习笔记】习题二感知机不能表示异或感知机例子样本集线性可分的充要条件：正负类凸壳互不相交感知机不能表示异或设异或输出1为正类，输出0为负类。