大数定律及中心极限定理

一、定理概述：

1.大数定律

①弱大数定理（辛钦大数定理）

对于独立同分布且具有均值的随机变量，当n很大时，它们的算术平均很可能接近于μ。

②伯努利大数定理

事件“频率与概率的偏差小于”实际上几乎是必定要发生的（此即频率稳定性的真正含义）。即当实验次数很大时，便可以用事件的频率来代替事件的概率。

2.中心极限定理

①独立同分布的中心极限定理（林德贝格-列维定理）

均值为，方差为的n个独立同分布的随机变量，当n充分大时，其和近似服从均值为，方差为的正态分布。

②李雅普诺夫（Lyapunov）定理

任意分布的n个随机变量，，当n充分大时，近似满足正态分布（详见下文）。

③棣莫弗-拉普拉斯（De Moivre-Laplace）定理

正态分布是二项分布的极限分布（详见下文）。

二、大数定律

1.弱大数定理（辛钦大数定理）

设是独立同分布的随机变量序列，且具有数学期望，那么对于任意，有

证明：

2.伯努利大数定理

设是n次独立重复试验中事件A发生的次数，p数事件A在每次试验中发生的概率，则对于任意正数，有

或

证明：

三、中心极限定理

1.独立同分布的中心极限定理（林德贝格-列维定理）

设变量独立同分布，且有，则随机变量之和的标准化变量

的分布函数对于任意x满足

证明略

2.李雅普诺夫（Lyapunov）定理

设变量相互独立，它们具有数学期望方差

记

若存在正数，使得当时，

则随机变量之和的标准化变量

的分布函数对于同样任意x，满足

证明略

3.棣莫弗-拉普拉斯（De Moivre-Laplace）定理

设随机变量服从参数为的二项分布，则对于任意x，有

若设的期望与方差分为，那么有，则上式可写为

证明：