概率论中的期望、方差、正态分布

前言

突然很想知道正态分布,就搜集了一些资料,多了解一些内容。

期望

知乎-数学期望问题回答
期望、方差
我就总结一下,不重复造轮子了,期望就是多次试验后得到可以达到的平均结果,关于这个多次的范围是多少,无法确定,可以理解为N次试验,期望跟概率及概率的值有关,例如经典的抛硬币问题,正面你给我一元,负面我给你一元,数值化的结果就是:

事件 概率值
正面 0.5 1 -1
负面 0.5 -1 1

从我的角度思考这个问题: E = 0.5 ∗ 1 + 0.5 ∗ ( − 1 ) = 0 E=0.5*1+0.5*(-1)=0 E=0.51+0.5(1)=0
从你的角度思考这个问题: E = 0.5 ∗ ( − 1 ) + 0.5 ∗ 1 = 0 E=0.5*(-1)+0.5*1=0 E=0.5(1)+0.51=0
那么N次试验后,期望是0,也就是我和你口袋里的金额都是一样的,虽然过程中有输有赢,但是最终结果是大家都没有输没有赢,概率对你我都是公平的,但是如果我们一共只玩5次游戏,有可能5次硬币都是负面,我亏5元,你赢了5元,这不是我想要的期望,所以期望跟具体的实验结果是没有关联的,它反应的是这个实验结果在理想的情况下多呈现的结果,理想情况就是符合概率,10次抛硬币里面有5次正面出现、5次负面出现,我们用这个期望值做什么呢?当事件还没开始,我们就可以通过期望来反应这个事件的平均情况,但实际中不会完全符合理想情况,不符合期望结果,也就是说10次抛硬币里面有可能有9次正面,1次负面,也有可能1次正面,9次负面,没人知道实际的结果,所以,实际情况都是不确定的,但期望可以反映多次之后的平均情况。
上述是离散型的概率的期望,还有连续性概率的期望,计算就偏繁琐一些,但本质都是一样的,
E ( f ( x ) ) = ∫ − ∞ + ∞ f ( x ) p ( x ) d x E(f(x))=\int^{+\infty}_{-\infty} f(x)p(x)dx E(f(x))=+f(x)p(x)dx
其中 p ( x ) p(x) p(x)是概率密度, f ( x ) f(x) f(x)是指不同概率对应的数值,这个数值可以自己定义,具体的可以去百度多了解一下。
期望有相应的运算操作,这些运算操作方便你计算多个事件联合起来的期望,比如 E ( x y ) = E ( x ) E ( y ) E(xy)=E(x)E(y) E(xy)=E(x)E(y)

方差

方差与标准差
期望的运算构成了统计量的运算基础,因为方差、协方差等统计量本质上是一种特殊的期望。
V a r ( x ) = E ( ( x − E ( x ) ) 2 ) = E ( x 2 − 2 x E ( x ) + ( E ( x ) 2 ) ) = E ( x 2 ) − 2 E ( x ) E ( x ) + E ( x ) E ( x ) = E ( x 2 ) − ( E ( x ) ) 2 \begin{aligned} Var(x) &=E((x-E(x))^2) \\ &= E(x^2 - 2xE(x) + (E(x)^2)) \\ &= E(x^2)-2E(x)E(x)+E(x)E(x) \\ &= E(x^2)-(E(x))^2 \end{aligned} Var(x)=E((xE(x))2)=E(x22xE(x)+(E(x)2))=E(x2)2E(x)E(x)+E(x)E(x)=E(x2)(E(x))2
推导过程中要备注一下 E ( E ( x ) ) E(E(x)) E(E(x)),我们可以把 E ( x ) E(x) E(x)看做一个数值,概率的期望本来就是一个数值,这个数值的期望就相当于 E ( 1 ) = 1 E(1)=1 E(1)=1,所以 E ( E ( x ) ) = E ( x ) E(E(x)) = E(x) E(E(x))=E(x) E ( E ( x 2 ) ) = E ( x 2 ) E(E(x^2)) = E(x^2) E(E(x2))=E(x2) E ( 2 x E ( x ) ) = 2 E ( x ) E ( x ) E(2xE(x)) = 2E(x)E(x) E(2xE(x))=2E(x)E(x)
但是提一个问题:由如果X与Y相互独立,则 E ( X Y ) = E ( X ) E ( Y ) E(XY)=E(X)E(Y) E(XY)=E(X)E(Y)知道, E ( x 2 ) = E ( x ∗ x ) = E ( x ) E ( x ) = ( E ( x ) ) 2 E(x^2)=E(x*x)=E(x)E(x)=(E(x))^2 E(x2)=E(xx)=E(x)E(x)=(E(x))2 是否成立?因为按照期望运算这个是成立的,如果这个成立,那么上述方差就等于0了,换个角度思考,正确的解释就是 x x x x x x不是相互独立的,两个 x x x是相等关系的,一个 x x x的值决定了另一个 x x x
方差是测算离散趋势最重要、最常用的指标,一个取值与期望值的“距离”用两者差的平方表示。该平方值表示取值与分布中心的偏差程度。平方的最小取值为0。当取值与期望值相同时,此时不离散,平方为0,即“距离”最小;当随机变量偏离期望值时,平方增大。由于取值是随机的,不同取值的概率不同,我们根据概率对该平方进行加权平均,也就获得整体的离散程度——方差。它可以表示每个变量与期望之间的离散程度。标准差同样是测算离散趋势最重要、最常用的指标,标准差为方差的算术平方根,用S表示:
δ = V a r ( x ) \delta =\sqrt{ Var(x)} δ=Var(x)
在方差的运算操作中,方差是不满足线性性质的,两个变量的线性组合方差计算方法如下:
V a r ( a x + b y ) = a 2 V a r ( x ) + b 2 V a r ( y ) + 2 C o v ( x , y ) Var(ax+by)=a^2Var(x)+b^2Var(y)+2Cov(x,y) Var(ax+by)=a2Var(x)+b2Var(y)+2Cov(x,y)
其中 C o v ( x , y ) Cov(x,y) Cov(x,y) 表示变量x、y的协方差,如果变量x、y相互独立,那么这两个变量的协方差等于0,也就说明两个相互独立的线性组合方差如下:
V a r ( a x + b y ) = a 2 V a r ( x ) + b 2 V a r ( y ) Var(ax+by)=a^2Var(x)+b^2Var(y) Var(ax+by)=a2Var(x)+b2Var(y)

协方差

两个随机变量的协方差被定义为:
C o v ( x , y ) = E ( ( x − E ( x ) ) ( y − E ( y ) ) ) Cov(x,y)=E((x−E(x))(y−E(y))) Cov(x,y)=E((xE(x))(yE(y)))
因此方差是一种特殊的协方差。当x=y时, C o v ( x , y ) = V a r ( x ) = V a r ( y ) Cov(x,y)=Var(x)=Var(y) Cov(x,y)=Var(x)=Var(y)

正态分布

这篇文章非常好的讲解了正态分布所面临的问题,其中有实例的讲解了正态分布应用、变量各种变换后的正态分布情况,
【程序员眼中的统计学(7)】正态分布的运用:正态之美

机器学习中正态分布非常贴近生活,就像人的身高,我们讨论男生的身高,大多数人身高集中在165-180之间,180以上的占总体人数的比例太小,165以下的比例也很小,正好符合正态分布曲线的形状:中间高,两边低。所以很多时候拿正态分布来说明数据的分布情况,这样可以帮助我们了解数据的走向,上述链接中举了一个学生成绩的例子,利用分布来预测排名,大家可以看下。

Python数据分析与挖掘

参考博客

概率论中均值、方差、标准差介绍及C++/OpenCV/Eigen的三种实现

你可能感兴趣的:(学术)