随机变量序列的两种收敛性
- 依概率收敛：设${X_n}$为一随机变量序列，$X$为一随机变量，若对于任意$\epsilon>0$,有$$P(|X_n-X|\geq\epsilon)\rightarrow0(n\rightarrow \infty)$$则称序列$\{X_n\}$依概率收敛于$X$，记作$X_n\xrightarrow[]{P}X$
- 依概率收敛的性质：若$$X_n\xrightarrow[]{P}a$$$$Y_n\xrightarrow{P}b$$则：$$X_n\pm Y_n\xrightarrow[]{P}a\pm b$$$$X_nY_n\xrightarrow[]{P}ab$$$$X_n\div Y_n \xrightarrow[]{P}a\div b$$
- 弱收敛（按分布收敛）：随机变量$X,X_1,X_2…$的分布函数为$F(x),F_1(x),F_2(x)…$，若对于$F(x)$的任意一个连续点$x$，有$$\lim_{n\rightarrow\infty}F_n(x)=F(x)$$则称分布函数序列$\{F_n(x)\}$弱收敛于$F(x)$,记作$$F_n(x)\xrightarrow{W}F(x)$$也称$\{X_n\}$按分布收敛于$X$,记作$$X_n\xrightarrow{L}X$$
特征函数
- 特征函数：设$X$是一个随机变量，则$$\varphi(t)=E(e^{itX})$$为X的特征函数。
常用分布的特征函数
- 0-1分布：$\varphi(t)=pe^{it}+q$
- 泊松分布:$$\varphi(t)=\sum e^{itx}\frac{\lambda^ke^{-\lambda}}{k!}=e^{-\lambda}\sum\frac{(\lambda e^{it})^k}{k!}=e^{\lambda(e^{it}-1)}$$
- 均匀分布:$$\varphi(t)=\int_a^b\frac{e^{itx}}{b-a}dx=\frac{e^{itb}-e^{ita}}{it(b-a)}$$
- 标准正态分布:$$\varphi(t)=e^{-\frac 12 t^2}$$
证明：$$\begin {split}\varphi(t)&=\int_{-\infty}^{\infty}e^{itx}\frac1{\sqrt{2\pi}}e^{-\frac 12x^2}dx\\&=\frac1{\sqrt{2\pi}}\int_{-\infty}^{\infty}\sum_{n=0}^{\infty}\frac {(itx)^n}{n!}e^{-\frac 12x^2}dx\\&=\sum_{n=0}^{\infty}\frac {(it)^n}{n!}[\int_{-\infty}^{\infty}x^n\frac1{\sqrt{2\pi}}e^{-\frac 12x^2}]dx\\&=\sum_{n=0}^{\infty}\frac {(it)^n}{n!}E(X^n)\end {split}$$
当n为奇数时，$$E(X^n)=\int_{-\infty}^{\infty}x^n\frac1{\sqrt{2\pi}}e^{-\frac 12x^2}dx=0$$
当n为偶数时，$$\begin{split}E(X^n)=E(X^{2m})&=\int_{-\infty}^{\infty}x^{2m}\frac1{\sqrt{2\pi}}e^{-\frac 12x^2}dx\\&=\frac1{\sqrt{2\pi}} \int_{-\infty}^{\infty}-x^{2m-1}d(e^{-\frac 12x^2})\\&=\frac1{\sqrt{2\pi}}(2m-1) \int_{-\infty}^{\infty}x^{2m-2}e^{-\frac 12x^2}dx\\&= (2m-1)(2m-3)…1\int_{-\infty}^{\infty}\frac1{\sqrt{2\pi}}e^{-\frac 12x^2}dx\\&=(2m-1)!!\\&=\frac{2m!}{2^m(m-1)!}\end {split}$$
故$$\begin{split}\varphi(t)&=\sum_{m=0}^{\infty}\frac {(it)^{2m}}{(2m)!}E(X^{2m})\\&=\sum_{m=0}^{\infty}\frac {(it)^{2m}}{(2m)!}\frac{2m!}{2^m(m-1)!}\\&=\sum_{m=0}^{\infty}\frac{(-\frac{t^2}{2})^m}{m!}\\&=e^{-\frac 12t^2}\end{split}$$
- 指数分布的特征函数:$$\varphi(t)=(1-\frac{it}\lambda)^{-1}$$
证明：$$\begin{split}\varphi(t)&=\int_0^{\infty}e^{itx}\lambda e^{-\lambda x}dx\\&=\lambda[\int_0^{\infty}cos(tx)e^{-\lambda x}dx+i\int_0^{\infty}sin(tx)e^{-\lambda x}dx]\end{split}$$
$$\begin{split}I&=\int_0^{\infty}cos(tx)e^{-\lambda x}dx\\&=\int_0^{\infty}\frac 1te^{-\lambda x}dsin(tx)\\&=\frac \lambda t\int_0^{\infty}sin(tx)e^{-\lambda x}dx\\&=-\frac \lambda {t^2} [-1+\lambda \int_0^{\infty}cos(tx)e^{-\lambda x}dx]\\&=-\frac{\lambda^2}{t^2}I+\frac{\lambda}{t^2}\end{split}$$
故$$I = \frac {\lambda}{\lambda^2+t^2}$$
$$\begin{split}\varphi(t)&=\lambda(\frac {\lambda}{\lambda^2+t^2}+i\frac {t}{\lambda^2+t^2})\\&=\frac \lambda{\lambda^2+t^2}(\lambda+it)\\&=\frac \lambda{\lambda-it}\\&=(1-\frac{it}\lambda)^{-1}\end{split}$$
特征函数的性质
- $|\varphi(t)|\leq \varphi(0)=1$
证明:$$|\varphi(t)|=|\int e^{itx}f(x)dx|\leq\int|e^{itx}|f(x)dx=1$$
- 若$Y=aX+b$，则$$\varphi_Y(t)=e^{ibt}\varphi_X(at)$$
证明：$$\varphi_Y(t)=\int e^{it(ax+b)}f(x)dx=e^{itb}\int e^{itax}f(x)dx=e^{ibt}\varphi_X(at)$$
- 若$X$和$Y$相互独立，则有$$\varphi_{X+Y}(t)=\varphi_X(t)\varphi_Y(t)$$
证明：$$E(e^{it(X+Y)})=E(e^{itx}e^{ity})=E(e^{itx})E(e^{ity})=\varphi_X(t)\varphi_Y(t)$$
- 若$E(X^l)$存在，则$X$的特征函数l次可导，且对$1\leq k\leq l$有$$\varphi^{(k)} (0)=i^kE(X^k)$$
证明：$$\varphi^{(k)}(t)=\int i^kx^ke^{ixt}f(x)dx$$将$t=0$代入得$$\varphi^{(k)}(0)=i^k\int x^kf(x)dx=i^kE(X^k) $$
大数定律
概率是频率的稳定值，其中稳定是什么意思？大数定律详细的描述了这个问题。
大数定律指的是随机变量序列的平均值，依概率收敛于各个随机变量均值的平均值。
伯努利大数定律
伯努利大数定律说明这样一个事实：对于一个服从伯努利分布的事件$s_n$，随着试验次数$n$的增加，事件发生的频率$f=\frac{s_n}n$与概率$p$的偏差的绝对值$|\frac{s_n}n-p|$大于给定精度$\epsilon$的概率越来越小，这就是概率是频率的稳定值的数学描述。即频率$f$是概率$p$的一个点估计量，且是无偏的。
- 伯努利大数定律:设$s_n \sim B(n,p)$,则对于任意的$\epsilon>0$,有$$\lim_{n\rightarrow\infty}P(|\frac{s_n}{n}-p|<\epsilon)=1$$
证明：由于$$s_n\sim B(n,p)$$故$$E(\frac{s_n}n)=\frac 1nE(s_n)=p$$$$\sigma^2 = D(\frac {s_n}n)=\frac 1{n^2}D(s_n)=\frac{p(1-p)}{n}$$切比雪夫不等式可知$$P(|\frac{s_n}{n}-p|<\epsilon)\geq 1-\frac{\sigma^2}{\epsilon^2}$$故$$\begin{split}\lim_{n\rightarrow\infty}P(|\frac{s_n}{n}-p|<\epsilon)\geq \lim_{n\rightarrow\infty}(1-\frac {\sigma ^2}{\epsilon^2})=\lim_{n\rightarrow\infty}[1-\frac{p(1-p)}{n\epsilon^2}]=1\end{split}$$
大数定律的一般形式
伯努利大数定律的研究对象其实是一个独立同分布的随机变量序列$\{X_n\}$,其中$X_i$服从两点分布，伯努利大数定律可以看作从两点分布组成的序列中选出$n$项来，可改写为$${\lim_{n\rightarrow \infty}P(|\frac 1n\sum_{i=1}^{n}X_i-\frac 1n\sum_{i=1}^{n}EX_i|<\epsilon)=1}$$
因此，服从以上表达式的任意随机变量序列均称为服从大数定律。
切比雪夫大数定律
- 切比雪夫大数定律：随机变量序列$\{X_n\}$中随机变量$X_i$两两不相关且方差存在，即$DX_i\leq c$,则该随机变量序列服从大数定律。
证明：由于$X_i$两两不相关，故$$\sigma^2=D(\frac 1n\sum X_i)=\frac 1{n^2}\sum DX_i\leq \frac cn$$
由切比雪夫不等式可得$$P(|\frac 1n\sum_{i=1}^{n}X_i-\frac 1n\sum_{i=1}^{n}EX_i|<\epsilon|)\geq 1-\frac {\sigma^2}{\epsilon^2}\geq 1-\frac c{n\epsilon^2}$$
故有$${\lim_{n\rightarrow \infty}P(|\frac 1n\sum_{i=1}^{n}X_i-\frac 1n\sum_{i=1}^{n}EX_i|<\epsilon)=1}$$
马尔可夫大数定律
- 马尔可夫条件:$$\lim_{n\rightarrow\infty}\frac {D(\sum X_i)}{n^2}=0$$
满足马尔可夫条件的随机变量序列服从大数定律。
辛钦大数定律
- 辛钦大数定律：随机变序列$\{X_n\}$独立同分布且均值存在，方差不存在，则服从大数定律。
证明：我也不会。
中心极限定理
大数定律讨论的是在什么情况下，随机变量序列的算术平均依概率收敛于其均值的算术平均，中心极限定理讨论的是在什么条件下，独立随机变量和$$Y_n = \sum_{i=1}^n X_i$$收敛于正态分布。
独立同分布下的中心极限定理
林德伯格-莱维中心极限定理：设$\{X_n\}$是独立同分布的随机变量序列，$EX_n=\mu$，$DX_n=\sigma^2$，设$$Y_n=\frac{\sum X_i-n\mu}{\sqrt n\sigma}$$则当$n\rightarrow\infty$时，$Y_n$近似服从标准正态分布，即$$lim_{n\rightarrow\infty}P(Y_n\leq y)=F_Y(y)=\frac 1{\sqrt {2\pi}}\int_{-\infty}^y e^{\frac{-t^2}2}dt$$
证明：要证原命题只需证$Y_n$的特征函数收敛于标准正态分布即可，设$X-\mu$的特征函数为$\varphi(t)$，则$Y_n$的特征函数为$$\varphi_{Y_n}(t)=[\varphi(\frac t{\sqrt n \sigma})]^n$$
由于$E(X-\mu)=0,E(X-\mu)^2=D(X-\mu)=\sigma^2$,故$$\varphi'(0)=0,\varphi''(0)=-\sigma^2$$
由泰勒公式，$$\varphi(t)=\varphi(0)+\varphi'(0)t+\frac 12\varphi''(0)t^2+o(t^2)$$
故$$lim_{n\rightarrow\infty}\varphi_ {Y_n}(t)=lim_{n\rightarrow\infty}(1-\frac 12\sigma^2\frac {t^2}{n\sigma^2})^n=e^{-\frac 12t^2}$$
原命题得证。
蒂莫弗-拉普拉斯中心极限定理
- 蒂莫弗-拉普拉斯中心极限定理：随机变量$X$为两点分布时的独立随机变量的中心极限定理。
独立不同分布下的中心极限定理
-
林德伯格中心极限定理
- 林德伯格条件:对于任意的$\tau>0$，有$$lim_{n\rightarrow\infty}\frac 1{\sigma^2\tau^2}\sum_{i=1}{n}\int_{|x-\mu_i|>\tau\sigma}(x-\mu_i)^2f_i(x)dx=0$$
满足林德伯格条件的独立随机变量序列有中心极限定理。