马尔可夫不等式, 切比雪夫不等式, 大数定律

防盗https://www.cnblogs.com/setdong/p/17325420.html

1. Markov’s inequality

Theorem: $X$ 为非负随机变量, 且 $\mathbb{E}[X]<\infty$. 那么对于任意 $t>0$ 有
$$\mathbb{P}[X\ge t\mathbb{E}[X]]\le \frac{1}{t}$$
或对于任意的 $ϵ>0$ 有
$$\mathbb{P}[X\ge ϵ]\le \frac{\mathbb{E}[X]}{ϵ}$$
证明, 以上两式等价, 这里证第一个:

由定义有
$$\mathbb{P}[X\ge t\mathbb{E}[X]]=\sum _{x:x\ge t\mathbb{E}[X]}\mathbb{P}[X=x]$$
对于$x\ge t\mathbb{E}[X]$ 部分, 有 $\frac{x}{t\mathbb{E}[X]}\ge 1$, 所以
$$\mathbb{P}[X\ge t\mathbb{E}[X]]\le \sum _{x:x\ge t\mathbb{E}[X]}\mathbb{P}[X=x]\frac{x}{t\mathbb{E}[X]}$$
对于$x<t\mathbb{E}[X]$ 部分, 有 $\mathbb{P}[X=x]\frac{x}{t\mathbb{E}[X]}\ge 0$ , 所以加上这些非负部分, 有:
$$\mathbb{P}[X\ge t\mathbb{E}[X]]\le \sum _x\mathbb{P}[X=x]\frac{x}{t\mathbb{E}[X]}=\frac{\mathbb{E}[X]}{t\mathbb{E}[X]}=\frac{1}{t}$$

2. Chebyshev’s inequality

Theorem: $X$ 为随机变量, 且 $\text{Var}[X]<\infty$ (方差). 那么对于任意 $t>0$ 有
$$\mathbb{P}[|X-\mathbb{E}[X]|\ge t\text{Var}[X{]}^{\frac{1}{2}}]\le \frac{1}{t^2}$$
或对于任意$ϵ>0$ 有
$$\mathbb{P}[|X-\mathbb{E}[X]|\ge ϵ]\le \frac{\text{Var}[X]}{{ϵ}^2}$$
证明:

首先有
$$\mathbb{P}[|X-\mathbb{E}[X]|\ge t\text{Var}[X{]}^{\frac{1}{2}}]=\mathbb{P}[(X-\mathbb{E}[X]{)}^2\ge t^2\text{Var}[X]]$$
然后对上式右侧应用 Markov’s inequality, 其中$X$ 是 $(X-\mathbb{E}[X]{)}^2$, $ϵ$ 是 $t^2\text{Var}[X{]}^2$
$$\mathbb{P}[(X-\mathbb{E}[X]{)}^2\ge t^2\text{Var}[X]]\le \frac{\mathbb{E}[(X-\mathbb{E}[X]{)}^2]}{t^2\text{Var}[X]}=\frac{1}{t^2}$$
其中 $\mathbb{E}[(X-\mathbb{E}[X]{)}^2]=\text{Var}[X]$ 为方差的定义.

3. Weak law of large numbers

Theorem: $(X_n{)}_{n\in \mathbb{N}}$ 是一列独立的随机变量, 它们有相同的期望 $\mu$ 和方差 ${\sigma }^2>\infty$. ${\bar{X}}_n=\frac{1}{n}{\sum }_{i=1}^n{X}_i$ 为均值. 那么对于任意的 $ϵ>0$ 有
$$\underset{n\to \infty }{\lim }\mathbb{P}[|{\bar{X}}_n-\mu |\ge ϵ]=0$$
证明:

已知变量是独立的, 根据期望和方差的特性有,
$$\begin{gathered} \mathbb{E}[{\bar{X}}_n]=\sum _{i=1}^n\frac{\mu }{n}=\mu \\ \text{Var}[{\bar{X}}_n]=\sum _{i=1}^n\frac{{\sigma }^2}{n^2}=\frac{{\sigma }^2}{n} \end{gathered}$$
对上式使用 Chebyshev’s inequality, 其中 $t=ϵ/\text{Var}[{\bar{X}}_n{]}^{\frac{1}{2}}$, 有
$$\mathbb{P}[|{\bar{X}}_n-\mu |\ge ϵ]\le \frac{{\sigma }^2}{n{ϵ}^2}$$
所以当 $n$ 趋于无穷时, 概率趋于 $0$. 可以理解为样本均值依概率收敛于期望值.
防盗https://www.cnblogs.com/setdong/p/17325420.html