【考研数学】概率论与数理统计 —— 第五章 | 大数定律与中心极限定理

---

一、切比雪夫不等式

定理 1 —— （切比雪夫不等式）设随机变量 $X$ 的方差存在，则对任意的 $\epsilon >0$ ，有 $$P\{|X-E(X)|\ge \epsilon \}\le \frac{D(X)}{{\epsilon }^2}orP\{|X-E(X)|<\epsilon \}\ge 1-\frac{D(X)}{{\epsilon }^2}.$$ 证明： 仅对连续型随机变量。设 $X$ 为连续型随机变量，概率密度为 $f(x)$ ，则 $$P\{|X-E(X)|\ge \epsilon \}={\int }_{-\infty }^{E(X)-\epsilon }f(x)dx+{\int }_{E(X)+\epsilon }^{+\infty }f(x)dx$$ 由于 $|X-E(X)|\ge \epsilon$（待求事件），有 $|X-E(X){|}^2/{\epsilon }^2\ge 1$ ，对积分进行放缩，有：$$P\{|X-E(X)|\ge \epsilon \}\le {\int }_{-\infty }^{E(X)-\epsilon }\frac{|X-E(X){|}^2}{{\epsilon }^2}f(x)dx+{\int }_{E(X)+\epsilon }^{+\infty }\frac{|X-E(X){|}^2}{{\epsilon }^2}f(x)dx.$$ 由于被积函数非负，可扩大积分限为 ${\int }_{-\infty }^{\infty }dx$ ，即 $$P\{|X-E(X)|\ge \epsilon \}\le {\int }_{-\infty }^{+\infty }\frac{|X-E(X){|}^2}{{\epsilon }^2}f(x)dx.$$ 由方差的定义，$D(X)=E\{[X-E(X){]}^2\}$ ，有 $D(X)={\int }_{-\infty }^{+\infty }[X-E(X){]}^{2}f(x)dx$ ，于是 $$P\{|X-E(X)|\ge \epsilon \}\le \frac{D(X)}{{\epsilon }^2}.$$ 证毕。

【例 1】设 $X\sim N(1,4),Y\sim E(1)$ ，且 $X,Y$ 相互独立，用切比雪夫不等式估计 $$P\{-3<X+Y<7\}.$$ 解： $E(X)=1,E(Y)=1;D(X)=4,D(Y)=1$ ，记 $Z=X+Y$ 。由独立，则 $E(Z)=2,D(Z)=5$ ，由切比雪夫不等式，有 $$P\{-3<X+Y<7\}=P\{|Z-E(Z)|<5\}\ge 1-\frac{5}{5^2}=\frac{4}{5}.$$ 切比雪夫不等式的本质是，$P\{|X-E(X)|<\epsilon \}$ 占概率的主要部分，不小于 $D(X)/{\epsilon }^2$。$|X-E(X)|$ 可理解为偏离期望的程度，因为正常情况下都应该分布在数学期望附近的。

---

二、大数定律

2.1 依概率收敛的定义

设 $\{X_n\}$ 为随机变量序列，$a$ 为常数，若对任意的 $\epsilon >0$ ，有 $$\underset{n\to \infty }{\lim }P\{|X_n-a|<\epsilon \}=1,$$ 称随机变量概率序列 $\{X_n\}$ 收敛于 $a$ ，$$X_n{⟶}^{P}a(n\to \infty ).$$

2.2 常见的大数定律

定理 2 —— （切比雪夫大数定律）设随机变量序列 $X_1,X_2,\cdots X_n,\cdots$ 相互独立，$D(X_i)(i=1,2,\cdots )$ 存在且存在正数 $C$ ，使得 $D(X_i)\le C(i=1,2,\cdots )$ ，则对任意 $\epsilon >0$ ，有 lim ⁡ n → ∞ P { ∣ 1 n ∑ i = 1 n X i − 1 n ∑ i = 1 n E ( X i ) ∣ < ε } = 1. \lim_{n\to\infty}P\bigg\{\bigg|\frac{1}{n}\sum_{i=1}^nX_i-\frac{1}{n}\sum_{i=1}^nE(X_i)\bigg|<\varepsilon\bigg\}=1. n→∞lim​P{ ​n1​i=1∑n​Xi​−n1​i=1∑n​E(Xi​) ​<ε}=1. 定理 3 —— （伯努利大数定律）设 $n$ 重伯努利试验中，两个可能的结果为 $A,\overline{A}$ ，且 $P(A)=p(0<p<1)$ ，令 $n_A$ 为 $n$ 次试验中事件 $A$ 发生的次数，则对于任意的 $\epsilon >0$ ，有 lim ⁡ n → ∞ P { ∣ n A n − p ∣ < ε } = 1. \lim_{n\to\infty}P\bigg\{\bigg|\frac{n_A}{n}-p\bigg|<\varepsilon\bigg\}=1. n→∞lim​P{ ​nnA​​−p ​<ε}=1. 定理 4 —— （独立同分布大数定律）设随机变量序列 $X_1,X_2,\cdots ,X_n,\cdots$ 独立同分布，且 $E(X_i)=\mu ,D(X_i)={\sigma }^2(i=1,2,\cdots )$ ，对任意的 $\epsilon >0$ ，有 lim ⁡ n → ∞ P { ∣ 1 n ∑ i = 1 n X i − μ ∣ < ε } = 1. \lim_{n\to\infty}P\bigg\{\bigg|\frac{1}{n}\sum_{i=1}^nX_i-\mu\bigg|<\varepsilon\bigg\}=1. n→∞lim​P{ ​n1​i=1∑n​Xi​−μ ​<ε}=1. 定理 5 —— （辛钦大数定律）设随机变量序列 $X_1,X_2,\cdots ,X_n,\cdots$ 独立同分布，且存在 $E(X_i)=\mu (i=1,2,\cdots )$ ，对任意的 $\epsilon >0$ ，有 lim ⁡ n → ∞ P { ∣ 1 n ∑ i = 1 n X i − μ ∣ < ε } = 1. \lim_{n\to\infty}P\bigg\{\bigg|\frac{1}{n}\sum_{i=1}^nX_i-\mu\bigg|<\varepsilon\bigg\}=1. n→∞lim​P{ ​n1​i=1∑n​Xi​−μ ​<ε}=1.

---

三、中心极限定理

定理 6 —— （列维 — 林德伯格中心极限定理）设随机变量序列 $X_1,X_2,\cdots ,X_n,\cdots$ 独立同分布，且 $E(X_i)=\mu ,D(X_i)={\sigma }^2(i=1,2,\cdots )$ ，则对任意实数 $x$ ，有 $$\underset{n\to \infty }{\lim }P\{\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }\le x\}=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x\exp \{-\frac{t^2}{2}\}dt.$$ 即 ${\sum }_{i=1}^n{X}_i$ 近似服从 $N(n\mu ,n{\sigma }^2),\frac{{\sum }_{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }$ 近似服从 $N(0,1)$ 。

定理 7 —— （棣莫弗 — 拉普拉斯中心极限定理）设 $X_n\sim B(n,p)(0<p<1)(n=1,2,\cdots )$ ，则对任意实数，有 $$\underset{n\to \infty }{\lim }P\{\frac{X_n-np}{\sqrt{np(1-p)}}\le x\}=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x\exp \{-\frac{t^2}{2}\}dt.$$ 即当 $p$ 很小时，$n$ 很大时，$X_n$ 近似服从 $N(np,np(1-p))$ 。

---

写在最后

不愧是大数定律，看得头要炸了，还好应该考的不多也不深。