机器学习|切比雪夫不等式（3sigma原则来源）|10mins入门|概统学习笔记（十）

切比雪夫不等式

• 定义：设随机变量X有期望E(X)和方差${\sigma }^2$，则对于任给的$ϵ>0$
  $$P\{|X-E(X)|\ge ϵ\}\le \frac{{\sigma }^2}{{ϵ}^2}$$
  或
  $$P\{|X-E(X)|<ϵ\}\ge 1-\frac{{\sigma }^2}{{ϵ}^2}$$
  由切比雪夫不等式可以看出，若${\sigma }^2$越小，则事件$\{|X-E(X)|<ϵ\}$的概率越大，即随机变量X集中在期望附近的可能性越大。

  由此，可体会方差的概率意义：它刻画了随机变量取值的离散程度

• 意义

  • 当方差已知时，切比雪夫不等式给出了随机变量X与它的期望的偏差不小于$ϵ$的概率的估计式。

    如取$ϵ=3\sigma$时，有
    $$P\{|X-E(X)|\ge 3\sigma \}\le \frac{{\sigma }^2}{9{\sigma }^2}\approx 0.111$$
    可见，对任给的分布，只要期望和方差${\sigma }^2$存在，则随机变量X取值偏离$E(X)$超过$3\sigma$的概率小于0.111