【概率论基础进阶】大数定律和中心极限定理

切比雪夫不等式

切比雪夫不等式：设随机变量$X$的数学期望$E(X)$和方差$D(X)$存在，则对任意的$ϵ>0$，总有
$$P\left\{|X-E(X)|\ge ϵ\right\}\le \frac{D(X)}{{ϵ}^2}$$
这个不等式称为切比雪夫不等式

例1：设随机变量$X$的概率密度$f(x)=\{\begin{array}{rlr}& 2e^{-2x}& x>0\\ & 0& x\le 0\end{array}$

• 根据切比雪夫不等式估计$\begin{array}{r}P\left\{X\ge \frac{3}{2}\right\}\le A,A=()\end{array}$

$X\sim E(2)$，因此
$$\begin{array}{rl}P\left\{X\ge \frac{3}{2}\right\}& =P\left\{X-\frac{1}{2}\ge 1\right\}\\ & =P\left\{X-\frac{1}{2}\ge 1\right\}+\underset{0}{P\left\{X-\frac{1}{2}\le -1\right\}}\\ & =P\left\{\left|X-\frac{1}{2}\right|\le 1\right\}\\ & =P\left\{|X-EX|\ge 1\right\}\le \frac{DX}{1^2}=\frac{1}{4}\end{array}$$

• 直接计算$\begin{array}{r}P\left\{X\ge \frac{3}{2}\right\}=B,B=()\end{array}$

根据指数分布
$$P\left\{X>t\right\}=e^{\lambda t},t>0$$
因此
$$P\left\{X\ge \frac{3}{2}\right\}=e^{-2\cdot \frac{3}{2}}=e^{-3}$$

$\begin{array}{r}{e}^{-3}\approx 0.05\end{array}$，而切比雪夫不等式估计的是$\begin{array}{r}0.25\end{array}$，显然是由一定差距的

例2：设$X$的密度为$f(x),DX=1$，而$Y$的密度为$f(-y)$，且$X$与$Y$的相关系数为$\begin{array}{r}-\frac{1}{4}\end{array}$，用切比雪夫不等式估计$P\left\{|X+Y|\ge 2\right\}\le ()$

设$Z=X+Y$，由切比雪夫不等式
$$\begin{array}{rl}P\left\{|Z-EZ|\le ϵ\right\}& \le \frac{DX}{{ϵ}^2}\\ P\left\{|(X+Y)-E(X+Y)|\le ϵ\right\}& \le \frac{D(X+Y)}{{ϵ}^2}\end{array}$$
$$\begin{array}{rl}EY& ={\int }_{-\infty }^{+\infty }yf(-y)dy\\ & ={\int }_{-\infty }^{+\infty }(-y)f(-y)d(-y)\\ & \stackrel{-y=t}{=}-{\int }_{-\infty }^{+\infty }tf(t)dt\\ & =-EX\end{array}$$
因此$EZ=E(X+Y)=EX+EY=0$
$$\begin{array}{rl}DY& =E(Y^2)-(EY{)}^2\\ & ={\int }_{-\infty }^{+\infty }{y}^{2}f(-y)dy-(-EX{)}^2\\ & \stackrel{-y=t}{=}{\int }_{+\infty }^{-\infty }(-t{)}^{2}f(t)d(-t)-(EX{)}^2\\ & =E(X^2)-(EX{)}^2=DX\\ D(X+Y)& =DX+DY+2\text{cov}(X,Y)\\ & =DX+DY+2\sqrt{DX}\sqrt{DY}\cdot {\rho }_{XY}\\ & =1+1-\frac{1}{2}=\frac{3}{2}\end{array}$$
因此
$$\begin{array}{rl}P\left\{|X+Y|\le 2\right\}& =P\left\{|(X+Y)-E(X+Y)|\le 2\right\}\\ & \le \frac{D(X+Y)}{2^2}=\frac{D(X+Y)}{4}=\frac{3}{8}\end{array}$$

大数定律

定义：设$X_1,X_2,\cdots ,X_n,\cdots$是一个随机变量序列，$A$是一个常数，如果对任意$ϵ>0$，有
$$\underset{n\to \infty }{\lim }P\left\{|X_n-A|<ϵ\right\}=1$$
则称随机变量序列$X_1,X_2,\cdots ,X_n,\cdots$依概率收敛域常数$A$，记作$X_n\stackrel{P}{\to }A$

随机变量加减一个常数还是随机变量

切比雪夫大数定律：设$X_1,X_2,\cdots ,X_n,\cdots$为两两不相关的随机变量序列，存在常数$C$，使$D(X_1)\le C(i=1,2,\cdots )$，则对任意$ϵ>0$，有
$$\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\frac{1}{n}\sum _{i=1}^{n}E(X_i)\right|<ϵ\right\}=1$$

不太严谨的做题时可以写成$\begin{array}{r}\frac{1}{n}\sum _{i=1}^n{x}_i\stackrel{P}{\to }\frac{1}{n}\sum _{i=1}^{n}E(X_i)\end{array}$

伯努利大数定理：设随机变量$X_n\sim B(n,p),n=1,2,\cdots$，则对于任意$ϵ>0$，有
$$\underset{n\to \infty }{\lim }P\left\{\left|\frac{X_n}{n}-p\right|<ϵ\right\}=1$$

即$X_n=Y_1+Y_2+\cdots +Y_n,Y_i\sim B(1,p)$，则有$\begin{array}{r}\frac{1}{n}\sum _{i=1}^n{Y}_i=\frac{X_n}{n}\stackrel{P}{\to }p\end{array}$

辛钦大数定律：设随机变量$X_1,X_2,\cdots ,X_n,\cdots$独立同分布，具有数学期望$E(X_i)=\mu ,i=1,2,\cdots$，则对于任意$ϵ>0$有
$$\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{i=1}^n{X}_i-\mu \right|<ϵ\right\}=1$$

有$\begin{array}{r}\frac{1}{n}\sum _{i=1}^n{x}_i\stackrel{P}{\to }\mu \end{array}$

切比雪夫大数定律要求随机变量两两不相关，且方差存在
辛钦大数定律要求随机变量独立同分布，且期望存在
做题时看题目给出条件符合哪个，用哪个

例3：设随机变量$X_1,X_2,\cdots ,X_n,\cdots$相互独立，均服从分布函数
$$F(x,\theta )=\{\begin{array}{rlr}& 1-e^{-\frac{x^2}{\theta }}& x\ge 0\\ & 0& x<0\end{array},\theta >0$$
是否存在实数$a$，使得对任何$ϵ>0$都有$\begin{array}{r}\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{i=1}^n{X}_i^2-a\right|\ge ϵ\right\}=0\end{array}$

由题目可知
$$\begin{array}{r}\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{i=1}^n{X}_i^2-a\right|\ge ϵ\right\}=0\Rightarrow \underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{i=1}^n{X}_i^2-a\right|<ϵ\right\}=1\end{array}$$
有
$$\begin{array}{rl}f(x;\theta )& =F^{\prime }(x;\theta )=\{\begin{array}{rlr}& \frac{2x}{\theta }{e}^{-\frac{x^2}{\theta }}& x\ge 0\\ & 0& x<0\end{array}\\ E{X}_i^2& ={\int }_{-\infty }^{+\infty }{x}^{2}f(x;\theta )dx\\ & ={\int }_0^{+\infty }{x}^2\cdot \frac{2x}{\theta }{e}^{-\frac{x^2}{\theta }}\\ & \stackrel{\frac{x^2}{\theta }=t}{=}\theta {\int }_0^{+\infty }t{e}^{-t}dt=\theta \end{array}$$
因此期望$E{X}_1^2=\theta$存在，又因为$X_1,X_2,\cdots ,X_n,\cdots$相互独立，均服从同一分布函数，因此$X_1^2,X_2^2,\cdots ,X_n^2,\cdots$独立同分布。根据辛钦大数定律，当$n\to \infty$时，
$$\frac{1}{n}\sum _{i=1}^n{X}_i^2\stackrel{P}{\to }E{X}_i^2=\theta$$
即对任何$ϵ>0$，都有$\begin{array}{r}\underset{n\to \infty }{\lim }P\left\{\left|\frac{1}{n}\sum _{i=1}^n{X}_i^2-a\right|\ge ϵ\right\}=0\end{array}$

中心极限定理

列维-林德伯格中心极限定理：设随机变量$X_1,X_2,\cdots ,X_n,\cdots$独立同分布，具有数学期望与方差，$E(X_n)=\mu ,D(X_n)={\sigma }^2,n=12,\cdots$，则对于任意实数$x$，有
$$\underset{n\to \infty }{\lim }P\left\{\frac{\sum _{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }\le x\right\}=\Phi (x)$$

定理表明当$n$充分大时$\sum _{i=1}^n{X}_i$的标准化$\begin{array}{r}\frac{\sum _{i=1}^n{X}_i-n\mu }{\sqrt{n}\sigma }\end{array}$近似服从标准正态分布$N(0,1)$，或者说$\sum _{i=1}^n{X}_i$近似的服从$N(n\mu ,n{\sigma }^2)$

棣莫弗-拉普拉斯中心极限定理：设随机变量$X_n\sim B(n,p)(n=1,2,\cdots )$，则对于任意实数$x$，有
$$\underset{n\to \infty }{\lim }P\left\{\frac{X_n-np}{\sqrt{np(1-p)}}\le x\right\}=\Phi (x)$$
其中$\Phi (x)$是标准正态的分布函数

定理表明当$n$充分大时，服从$B(n,p)$的随机变量$X_n$经标准化后得$\begin{array}{r}\frac{X_n-np}{\sqrt{np(1-p)}}\end{array}$近似服从标准正态分布$N(0,1)$，或者说$X_n$近似的服从$N(np,np(1-p))$

例4：设$X_1,X_2,\cdots ,X_n,\cdots$为独立同分布的随机变量列，且均服从参数为$1$的指数分布，则$\underset{n\to \infty }{\lim }P\left\{\sum _{i=1}^n{X}_i\le n\right\}=()$

$X_1,X_2,\cdots ,X_n,\cdots$独立同分布，且$E(X_i)=1,D(X_i)=1$，根据列维-林德伯格中心极限定理，$\sum _{i=1}^n{X}_i$近似的服从$\begin{array}{r}N(n\cdot \frac{1}{\lambda },n\cdot \frac{1}{{\lambda }^2})\end{array}$ 即$N(n,n)$，所以$\begin{array}{r}\underset{n\to \infty }{\lim }P\left\{\frac{X_n-np}{\sqrt{np(1-p)}}\le x\right\}=\Phi (x)\end{array}$，因此
$$\underset{n\to \infty }{\lim }P\left\{\sum _{i=1}^n{X}_i\le n\right\}=\underset{n\to \infty }{\lim }P\left\{\frac{\sum _{i=1}^n{X}_i-n}{\sqrt{n}}\le 0\right\}=\Phi (0)=\frac{1}{2}$$

CSDN话题挑战赛第2期
参赛话题：学习笔记