马尔可夫和切比雪夫不等式的证明

Markov’s inequality(马尔可夫不等式)

定义

$X$是非负的随机变量，对于固定的$a>0$，那么都有
$$P(X\ge a)\le \frac{E[X]}{a}$$

证明

假设随机变量$Y$有两个取值：0、$a$
$$Y=\{\begin{array}{ll}a,& \text{X≥a}\\ 0,& \text{X≤a}\end{array}$$
从上述表达式中可以看出，$X\ge Y$始终成立，由此推出
$$E[X]\ge E[Y]$$
同样类似的公式还有：若$f(x)\ge g(x)$，那么$\int f(x)dx\ge \int g(x)dx$
接下来按照离散随机变量的期望公式 $E[Y]={\sum }_1^n{y}_{n}P(Y=y_n)$，求$Y$的期望：
$$E[Y]=0\ast P(X\le a)+a\ast P(X\ge a)=aP(X\ge a)$$
因此，
$$E[X]\ge E[Y]=aP(X\ge a)$$
定理得证。

Chebyshev’s inequality（切比雪夫不等式）

定义

假设随机变量$X$的期望$\mu$有界，方差${\sigma }^2$，$k>0$，那么
$$P(|X-\mu |\ge k)\le \frac{{\sigma }^2}{k^2}$$

证明

注意到$(X-\sigma {)}^2$非负，因为$P(|X-\mu |\ge k)=P({(X-\mu )}^2\ge k^2)$，对$P({(X-\mu )}^2\ge k^2)$使用Markov’s inequality（$a=k^2$），
得到：
$$P(|X-\mu |\ge k)=P({(X-\mu )}^2\ge k^2)\le \frac{E[{(X-\mu )}^2]}{k^2}=\frac{{\sigma }^2}{k^2}$$
定理得证