大数定律

定义

Law of Large Numbers, LLN.

• 当大量重复同一个实验时，实验的平均结果会接近于期望值
• 重复次数越多越接近

例如掷色子，随着次数增加，得到的所有色子值的均值会越来越接近于：

1+2+3+4+5+66=3.5

它有两种形式：强大数定律与弱大数定律。

它们的前提条件相同，但结论不同：

• 随机变量 X1,X2,…,Xn 独立同分布(i.i.d, independently identical distribution)
• 期望值 E(X) 存在， 且 E(X)=μ
• X¯n=1n∑niXi

两种形式的大数定律都描述了 X¯n 的收敛性：

X¯n→μ,when n→∞

不同的是 X¯n 的收敛方式。

弱大数定律

也称为辛钦大数定律。 X¯n 依概率收敛到 μ :

Pr(|X¯n−μ|≤ϵ)=1,∀ϵ>0

或

X¯n→P→1

依概率收敛是弱收敛， 因为它不能排除 |X¯n−μ|>ϵ 情形的出现，即使它的概率很小。

强大数定律

结论比弱大数定律要强， 因为它确定 X¯n 依分布收敛到 μ ：

limn→∞X¯n=μ

或

X¯n→a.s.→1

a.s.是almost surely的缩写， 几乎可以确定的意思。当 n→∞ 时， 可以排除 |X¯n−μ|>ϵ 情形的出现。

为何会出现强弱大数定律

弱大数定律与强大数定律的前提条件完全相同，只是结论不同。为什么会出现这种情况呢？ 因为弱大数定律先被证明， 强大数定律后被证明。（需要验证）
而且在有些情况下， 强大数定律不成立，但弱大数定律成立。

Reference

• 参考了知乎问题: https://www.zhihu.com/question/21110761
• Wikipedia: https://en.wikipedia.org/wiki/Law_of_large_numbers