有些量很难计算，不等式可以对这些量给出一个界。例如，我们没有足够的信息来计算所需的量（例如事件的概率或随机变量的预期值）；又或者，问题可能很复杂，精确计算可能非常困难；还有些情况，我们可能希望提供一个通用的、适用于广泛问题的结果。
本节将学习两个不等式：Markov与Chebyshev不等式。

直观理解Markov不等式

我们凭直觉大致可以理解，观察值不会偏离期望值太多。Markov不等式和Chebyshev不等式把这种直觉放在坚实的数学基础上。接下来我们利用下面的图帮助我们理解这两个不等式：

其中，是一个正数。蓝线（函数，输入小于时，值是0，否则是）在绿线（恒等函数）之下，我们可以得出以下不等式：

设随机变量取非负数，表示出现的概率，对上面不等式对应第项乘得到：

即得到Markov不等式:

从上面的图也可以看出等号成立的条件，即对所有时，。不等式可以推广到所有取非负数的随机变量。

Markov不等式：
令为非负随机变量，且假设存在，则对任意，有

此外，当，，：

当时，表示随机变量的取值离期望不会太远（离期望较远的概率很小，小于）。 ,；
当时，，上式总成立表示。

Morkov不等式的数学证明

对于1.1中的不等式关系进行证明如下：

$\begin{eqnarray} E(X) = \int_{0}^{\infty} x f(x) dx &=& \int_{0}^{t} x f(x) dx + \int_{t}^{\infty} x f(x) dx \\ & \ge & \int_{t}^{\infty} x f(x) dx \\ & \ge & t\int_{t}^{\infty} f(x) dx \\ &=& t P(X > t) \end{eqnarray}$

Chebyshev不等式

Chebyshev不等式：
令，则：

令，

对于式的证明，借助Morkov不等式如下：

对于式的证明：

如，

在其期望附近（邻域）的概率与方差有关：

越大，随机变量离期望的概率越大（方差用于度量随机变量围绕均值的散布程度）；
越大，随机变量在期望附近，远离期望的概率越小。

需要注意的是，Chebyshev不等式没有限定分布的形式，所以应用广泛，但这个界很松，对某些具体的分布来说，可以得到更紧致的界，如高斯分布
$\begin{eqnarray} P(Z \geq t) &=& \frac {1}{\sqrt{2\pi}} \int_{t}^{\infty} x e^{-x^2/2}dx \\ &\leq& \frac {1}{\sqrt{2\pi}} \int_{t}^{\infty} \frac{x}{t} e^{-x^2/2}dx \\ &=& \frac {1}{t \sqrt{2\pi} } \lbrack - e^{-x^2/2}\rbrack_{t}^{\infty} \\ &=& \frac {1}{\sqrt{2\pi} } \frac{ e^{-t^2/2} }{t}\\ \end{eqnarray}$
得到米尔不等式（Mill's inequality）：

同样算，比Chebyshev不等式算出来的要小。

例题：假设我们在一个有个测试样本的测试集上测试一个预测方法（以神经网络为例）。若预测错误则设置，预测正确则设置。则为观测到的错误率。每个可视为有未知均值的Bernoulli分布。我们想支持真正的错误率。直观地，我们希望接近。但有多大可能不在的邻域内？
，

由于对任意有，所以当，时，边界为0.0625。

Reference

《All of Statistics: A Concise Course in Statistical Inference》by Wasserman, Larry
The Markov and Chebyshev Inequalities

不等式(一)-Markov与Chebyshev不等式

直观理解Markov不等式

Morkov不等式的数学证明

Chebyshev不等式

Reference

你可能感兴趣的:(不等式(一)-Markov与Chebyshev不等式)