七月算法-P2 概率论与数理统计(3)

概率论与数理统计(3)

切比雪夫不等式

设任意变量X的期望为$\mu$,方差为${\sigma }^2$,对于任意整数$ϵ$,有：
$$P\{|X-\mu |\ge ϵ\}\le \frac{{\sigma }^2}{{ϵ}^2}$$
切比雪夫不等式说明，X的方差越小，事件$\{|X-\mu |<ϵ\}$发生的概率越大。即：X取的值基本上集中在期望u附近。

证：
$$\begin{array}{rl}P\{|X-\mu |\ge ϵ\}& ={\int }_{|x-\mu |\ge ϵ}f(x)dx\\ & \le {\int }_{|x-\mu |\ge ϵ}\frac{|x-\mu {|}^2}{{ϵ}^2}f(x)dx\text{因为∣x−μ∣≥ϵ}\\ & \le \frac{1}{{ϵ}^2}{\int }_{-\infty }^{+\infty }(x-\mu {)}^{2}f(x)dx\\ & =\frac{{\sigma }^2}{{ϵ}^2}\end{array}$$

大数定理

设随机变量$X_1,X_2...X_n..$相互独立，并且具有相同的期望$\mu$和方差${\sigma }^2$。作前n个随机变量的平均$Y_n=\frac{1}{n}{\sum }_{i=1}^n{X}_i$,对于任意整数$ϵ$,有
$$\underset{n\to \infty }{\lim }P\{|Y_n-\mu |<ϵ\}=1$$

证：
样本均值的均值$E(\overline{x})=\mu$
样本均值的方差$Var(\overline{x})=\frac{{\sigma }^2}{n}$
由切比雪夫不等式得：
$$P\{|\overline{x}-\mu |\ge ϵ\}\le \frac{var(\overline{x})}{{ϵ}^2}=\frac{{\sigma }^2}{n\ast {ϵ}^2}$$
所以当$n\to \infty$,$P\{|\overline{x}-\mu |\ge ϵ\}\to 0$

大数定理的意义

当n很大时，随机变量$X_1,X_2...X_n..$的平均值$Y_n$在概率的意义下无限接近期望$\mu$。

伯努利定理

一次试验中事件$A$放生的概率为$p$;重复$n$次独立试验中，事件$A$发生了$n_A$次，则$p、n、n_A$的关系满足：
对于任意整数 $ϵ$,
$$\underset{n\to \infty }{\lim }P\{|\frac{n_A}{n}-p|<ϵ\}=1$$
该定理表明事件A发生的频率$n_A/n$以概率收敛于事件A的频率$p$,以严格的数学形似表达了频率的稳定性。

中心极限定理

设随机变量$X_1,X_2...X_n..$相互独立，并且具有相同的期望$\mu$和方差${\sigma }^2$。则随机变量
$$Y_n=\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }$$
的分布收敛到标准正态分布。

中心极限定理的意义

很多随机现象可以看成许多因素的独立影响的综合反应，往往近似服从正态分布。
例如：
城市耗电量：大量用户的耗电量综合。
测量误差：许多观察不到的、微小误差的总和。