马尔可夫和切比雪夫不等式的证明

Markov’s inequality(马尔可夫不等式)

定义

X X X是非负的随机变量,对于固定的 a > 0 a>0 a>0,那么都有
P ( X ≥ a ) ≤ E [ X ] a P(X\geq a) \leq \frac{E[X]}{a} P(Xa)aE[X]

证明

假设随机变量 Y Y Y有两个取值:0、 a a a
Y = { a , X ≥ a 0 , X ≤ a Y= \begin{cases} a, & \text{$X \geq a$} \\ 0, & \text{$ X \leq a$} \\ \end{cases} Y={a,0,XaXa
从上述表达式中可以看出, X ≥ Y X \geq Y XY始终成立,由此推出
E [ X ] ≥ E [ Y ] E[X] \geq E[Y] E[X]E[Y]
同样类似的公式还有:若 f ( x ) ≥ g ( x ) f(x) \geq g(x) f(x)g(x),那么 ∫ f ( x ) d x ≥ ∫ g ( x ) d x \int f(x)dx \geq \int g(x)dx f(x)dxg(x)dx
接下来按照离散随机变量的期望公式 E [ Y ] = ∑ 1 n y n P ( Y = y n ) E[Y] =\sum_{1}^{n} {{y}_{n}P(Y={y}_{n})} E[Y]=1nynP(Y=yn),求 Y Y Y的期望:
E [ Y ] = 0 ∗ P ( X ≤ a ) + a ∗ P ( X ≥ a ) = a P ( X ≥ a ) E[Y]=0*P(X \leq a)+a*P(X \geq a)=aP(X \geq a) E[Y]=0P(Xa)+aP(Xa)=aP(Xa)
因此,
E [ X ] ≥ E [ Y ] = a P ( X ≥ a ) E[X] \geq E[Y]=aP(X \geq a) E[X]E[Y]=aP(Xa)
定理得证。

Chebyshev’s inequality(切比雪夫不等式)

定义

假设随机变量 X X X的期望 μ \mu μ有界,方差 σ 2 {\sigma}^2 σ2 k > 0 k > 0 k>0,那么
P ( ∣ X − μ ∣ ≥ k ) ≤ σ 2 k 2 P(|X-\mu|\geq k) \leq \frac{{\sigma}^2}{{k}^2} P(Xμk)k2σ2

证明

注意到 ( X − σ ) 2 (X-\sigma)^2 (Xσ)2非负,因为 P ( ∣ X − μ ∣ ≥ k ) = P ( ( X − μ ) 2 ≥ k 2 ) P(|X-\mu|\geq k)=P({(X-\mu)}^2\geq k^2) P(Xμk)=P((Xμ)2k2),对 P ( ( X − μ ) 2 ≥ k 2 ) P({(X-\mu)}^2\geq k^2) P((Xμ)2k2)使用Markov’s inequality( a = k 2 a=k^2 a=k2),
得到:
P ( ∣ X − μ ∣ ≥ k ) = P ( ( X − μ ) 2 ≥ k 2 ) ≤ E [ ( X − μ ) 2 ] k 2 = σ 2 k 2 P(|X-\mu|\geq k)=P({(X-\mu)}^2\geq k^2) \leq \frac{E[{(X-\mu)}^2]}{k^2}=\frac{{\sigma}^2}{k^2} P(Xμk)=P((Xμ)2k2)k2E[(Xμ)2]=k2σ2
定理得证

你可能感兴趣的:(概率论,概率论,机器学习)