概率论之大数定律和中心极限定理

1.大数定律

教材说这是概率论最精彩的一章。。。，我觉得说的不错。。。，感觉需要吃透这几个定理。

1.1切比雪夫不等式

设随机变量$X$的均值$EX$及方差$DX$存在，则对于任意正数$\epsilon$，有不等式
$$P\{|X-EX|\ge \epsilon \}\le \frac{DX}{{\epsilon }^2}$$或
$$P\{|X-EX|<\epsilon \}\ge 1-\frac{DX}{{\epsilon }^2}$$
成立，我们称该不等式为切比雪夫不等式。
从定理中看出$DX$越小，那么随机变量$X$取值于开区间$(EX-\epsilon ,EX+\epsilon )$的概率就越大，这就说明方差是一个反映随机变量的概率分布对其分布中心$EX$的集中程度的数量指标。

1.2切比雪夫大数定理

设相互独立的随机变量$X_1,X_2,...,X_n,...$分别具有均值$E{X}_1,E{X}_2,...,E{X}_n,...$及有界方差$D{X}_1,D{X}_2,...,D{X}_n,...$,即存在常数C，使$D{X}_k\le C$，则对于任意正整数$\epsilon$有
$$\underset{n\to \infty }{\lim }P\{|\frac{1}{n}\sum _{k=1}^n{X}_k-\frac{1}{n}\sum _{k=1}^{n}E{X}_k|<\epsilon \}=1$$

1.3伯努利大数定律

设${\mu }_n$记$n$次试验中事件$A$出现的频率，$p$是事件$A$在每次试验中发生的概率，则对于任意正整数$\epsilon$，有
$$\underset{n\to \infty }{\lim }P\{|\frac{{\mu }_n}{n}-p|<\epsilon \}=1$$

1.4马尔可夫大数定律

对于随机变量序列$X_1,X_2,...,X_n,...$，如果满足$\frac{1}{n}D({\sum }_{k=1}^n{X}_k)\to 0$，则对任意$\epsilon >0$，有
$$\underset{n\to \infty }{\lim }P\{|\frac{1}{n}\sum _{k=1}^n{X}_k-\frac{1}{n}\sum _{k=1}^{n}E{X}_k|<\epsilon \}=1$$

1.5辛钦大数定律

设相互独立的随机变量$X_1,X_2,...,X_n,...$有相同的分布，而且$E{X}_k=\mu$存在，则对于任意的$\epsilon >0$，有
$$\underset{n\to \infty }{\lim }P\{|\frac{1}{n}\sum _{k=1}^n{X}_k-\mu |<\epsilon \}=1$$

1.6柯尔莫哥洛夫强大数定律

设相互独立的随机变量$X_1,X_2,...,X_n,...$有相同的分布，而且$E{X}_k=\mu$存在，若
$$P\{\underset{n\to \infty }{\lim }\frac{1}{n}\sum _{k=1}^n(X_i-E{X}_k)=0\}=1$$,称独立随机变量序列$\{X_k\}$满足强大数定律，即对任意$\epsilon >0$，
$$\underset{n\to \infty }{\lim }P\{\bigcup _{s=n}^{\infty }|\frac{1}{s}\sum _{k=1}^s(X_k-E{X}_k)|\ge \epsilon \}=0成立$$

1.7研究大数定律的意义

经验告诉我们，具有接近于1的摄率的随机事件在一次试验中几乎一定要发生;同样,极率很小，接近零的事件在一次试验中可以看做实际不可能发生事件.
生活中，1%的含有染菌的药品是绝对不能忽略的;而1%残次的纽扣则问题不大，因此在实际工作及一般理论问题中，概率接近1或0的事件具有特别重要的研究价值。概率论的基本问题之一就是要建立概率趋于 1或0的规律,大数定律就基这种概率论中最重要的结论之一。
伯努利大数定律建立了在大量重复独立试验中事件出现频率的稳定性,正因为这种稳定性，概率的含义才有客观解释。另外它还提供了通过试验来确定事件概率的方法，既然频率$\frac{{\mu }_n}{n}$与概率$p$有较大偏差的可能性很小,那么可以通过做试验确定某事件发生的频率并将它作为相应概率的估计,这种方法称为参数估计，它是数理统计中主要研究课题之一，参数估计的理论基础之一就是大数定律。

2中心极限定理

中心极限定理是研究在适当的条件下独立随机变量的部分和${\sum }_{k=1}^n{X}_k$的分布函数收敛于正态分布的问题。

2.1林德伯格-勒维定理

设相互独立的随机变量$X_1,X_2,...,X_n,...$有相同的分布，而且d$E{X}_k=\mu ,D{X}_k={\sigma }^2̸=0$，则对于任意$x$，随机变量$Y_n=\frac{{\sum }_{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }$的分布函数$F_n(x)$趋于标准正态分布函数，即有
$$\underset{n\to \infty }{\lim }{F}_n(x)=\underset{n\to \infty }{\lim }P\{\frac{{\sum }_{k=1}^n{X}_k-n\mu }{\sqrt{n}\sigma }\le x\}={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}dt$$

2.2棣莫弗-拉普拉斯定理

设${\mu }_n$表示n次独立重复试验中事件A发生的次数，p是事件A在每次试验中发生的概率，则对于任意区间[a,b]，恒有
$$1.\underset{n\to \infty }{\lim }P\{a<\frac{{\mu }_n-np}{\sqrt{np(1-p)}}\le b\}={\int }_a^b\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}dt,$$
$$2.b(k;n,p)\approx \frac{1}{\sqrt{npq}}{\phi }_0(\frac{k-np}{\sqrt{npq}})=\frac{1}{\sqrt{2\pi }\times \sqrt{npq}}{e}^{-\frac{1}{2}(\frac{k-np}{\sqrt{npq}}{)}^2}$$

3.集中概率极限的含义

3.1依分布收敛

设随机变量$X_n(\omega ),X(\omega )$的分布函数分别是$F_n(x),F(x)$，如果$F_n(x)\to F(x)$,则称$X_n(\omega )$依分布收敛于$X(\omega )$，并记为$X_n(\omega ){\to }^{L}X(\omega )$

3.2依概率收敛

设随机变量$X_n(\omega ),X(\omega )$如果，
$$\underset{n\to \infty }{\lim }P\{|X_n(\omega )-X(\omega )|\ge \epsilon \}=0$$
对任意$\epsilon >0$成立，则称$X_n(\omega )$依概率收敛于$X(\omega )$，并记为$X_n(\omega ){\to }^{P}X(\omega )$