大数定律与中心极限定理

大数定律

定义：

设$X_1,X_2,...,X_n,...$为随机变量序列，$X$为随机变量，若对任意的正数$ϵ$有：$$\underset{n\to \infty }{\lim }P(|X_n-X|⩾ϵ)=0$$或$$\underset{n\to \infty }{\lim }P(|X_n-X|<ϵ)=1$$则称$X_n$依概率收敛于$X$，记为$$\frac{1}{n}\sum _{i=1}^n{x}_i\stackrel{p}{}\frac{1}{n}\sum _{i=1}^{n}E(X_i)=E(X)=\overline{X}$$或$$X_n\stackrel{p}{}X$$

切比雪夫不等式

由于方差$D(X)$是用来描述随机变量$X$的取值在其数学期望$E(X)$附件的离散程度的，因此，对任意的正数$ϵ$，事件$(|X-E(X)|⩾ϵ)$发生的概率应该与$D(X)$有关，而这种关系用数学形式表示出来，就是切比雪夫不等式。

切比雪夫不等式定理
设随机变量$X$的数学期望$E(X)$与方差$D(X)$存在，则对于任意正数$ϵ$，不等式$$P(|X-E(X)|⩾ϵ)⩽\frac{D(X)}{{ϵ}^2}$$或$$P(|X-E(X)|<ϵ)⩾1-\frac{D(X)}{{ϵ}^2}$$都成立，且这两个不等式称为切比雪夫不等式

切比雪夫不等式的重要意义
切比雪夫不等式给出了在随机变量$X$的分布未知的情况下，只利用$X$的数学期望和方差即可对$X$的概率分布进行估值的方法。

切比雪夫大数定律

切比雪夫大数定律定理
设独立随机变量序列$X_1,X_2,...$的数学期望$E(X_1),E(X_2),...$和方差$D(X_1),D(X_2),...$都存在，并且方差是一致有上界的，即存在常数$C$，使得$D(X_i)⩽C，i=1,2,...,n...$
则对于任意的正数$ϵ$，有$$\underset{n\to \infty }{\lim }P(|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E(X_i)|<ϵ)=1$$
切比雪夫大数定律的统计意义
独立随机变量序列$X_1,X_2,...,X_n,...$的数学期望与方差都存在，且方差一致有上届，则经过算术平均后得到的随机变量$$\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$$当$n$充分大时，它的值将比较紧密地聚集在它的数学期望$E(\overline{X})$附件。

伯努利大数定律

伯努利大数定律是切比雪夫大数定律的一个重要推论
伯努利大数定律定理
设$n_A$为$n$重伯努利试验中事件$A$发生的次数，又设在每次试验中事件$A$发生的概率$P(A)=p$，则对于任意的正数$ϵ$，当试验的次数$n\to \infty$时，有$$\underset{n\to \infty }{\lim }P(|\frac{n_A}{n}-p|<ϵ)=1$$

伯努利大数定律的统计意义
当试验在相同条件下重复进行很多次时，随机事件$A$的频率$f_n(A)=\frac{n_A}{n}$，将稳定在事件$A$的概率$P(A)=p$附近，即频率收敛于概率。

中心极限定理

中心极限定理是研究独立随机变量和的极限分布为正态分布的命题。

经过科学家长期的观察和总结，发现服从正态分布的随机现象往往是由独立(或弱相依)的随机变量产生的。

这类随机现象往往可视为独立随机变量之和${\sum }_{i=1}^n{x}_i$，在什么条件下渐进于正态分布的问题。为使问题规范化，数学家们将问题归结为讨论规范和$\frac{{\sum }_{i=1}^n{x}_i-E({\sum }_{i=1}^n{x}_i)}{\sqrt{D({\sum }_{i=1}^n{x}_i)}}$有渐进分布$N(0,1)$的条件，并称有此结论的随机序列$\{x_n\}$服从中心极限定理。即：$$\frac{{\sum }_{i=1}^n{x}_i-E({\sum }_{i=1}^n{x}_i)}{\sqrt{D({\sum }_{i=1}^n{x}_i)}}\sim N(0,1)$$

独立同分布的中心极限定理(林德贝格-勒维中心极限定理)

设$\{x_n\}$是独立同分布的随机变量序列，且$E(x_i)=\mu ，D(x_i)={\sigma }^2，i=1,2,...n$，则随机变量$Z_n=\frac{{\sum }_{i=1}^n{x}_i-E({\sum }_{i=1}^n{x}_i)}{\sqrt{D({\sum }_{i=1}^n{x}_i)}}=\frac{{\sum }_{i=1}^n{x}_i-n\mu }{\sqrt{n{\sigma }^2}}$的分布函数$F_n(x)$收敛于标准正态分布的分布函数$\Phi (x)$.即对于任意的实数$x$有：$$\underset{n\to \infty }{\lim }P(\frac{{\sum }_{i=1}^n{x}_i-n\mu }{\sqrt{n{\sigma }^2}}⩽x)={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}dt=\Phi (x)$$当$n$充分大时，有：

1. 随机变量$Y_n={\sum }_{i=1}^n{x}_i$近似地服从$N(n\mu ,n{\sigma }^2)=\Phi (\frac{b-n\mu }{\sqrt{n{\sigma }^2}})$
2. $\overline{x}=\frac{1}{n}{\sum }_{i=1}^n{x}_i$近似服从$N(\mu ,\frac{{\sigma }^2}{n})$

德莫佛-拉普拉斯中心极限定理

设在独立试验序列中，事件$A$发生的概率为$p$，随机变量$n_A$表示事件$A$在$n$次试验中发生的次数，即$n_A$服从二项分布，则对任意实数$x$，有：$$\underset{n\to \infty }{\lim }P(\frac{n_A-np}{\sqrt{np(1-p)}}⩽x)={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}dt=\Phi (x)$$当$n$充分大时，服从二项分布的随机变量$n_A$将近似地服从正态分布，因此当$n$较大时，可以用正态分布来近似地计算二项分布：$$P(a<n_A<b)\approx \Phi (\frac{b-np}{\sqrt{np(1-p)}})-\Phi (\frac{a-np}{\sqrt{np(1-p)}})$$