机器学习中常用的不等式

目录

1. 马尔可夫不等式

 2. 切比雪夫不等式

3.  坎泰利不等式

4.  佩利-齐格蒙德不等式

 5. 霍夫丁不等式

 6. 柯尔莫哥洛夫不等式

7. 最大值不等式

 8. 麦克迪尔米德不等式

 9. 平斯克不等式

---

1. 马尔可夫不等式

马尔可夫不等式为一个非负随机变量大于等于一个正值的概率给出了上界。

此不等式以数学家马尔可夫命名，但由于它在马尔可夫的老师切比雪夫的工作中出现，也被称作切比雪夫不等式。为了和一般所指的切比雪夫不等式区分开，马尔可夫不等式被称作切比雪夫第一不等式，而一般所指的切比雪夫不等式被称作切比雪夫第二不等式。

定理：

若  是一个非负随机变量，且 ，那么

 2. 切比雪夫不等式

切比雪夫不等式指出，随机变量偏离其期望超过个标准差的概率以为界。

 切比雪夫不等式的用途和正态分布的 68−95−99.7 法则类似，但可以应对更一般的概率分布。

 此不等式保证，对于一系列范围很广的随机变量，有至少 75% 的值分布离期望两个标准差之内的范围当中，有至少 88.9% 的值分布离期望三个标准差之内的范围当中。

切比雪夫不等式是马尔可夫不等式的直接推论。

 

 定理2.1（切比雪夫不等式）：

若 是一个随机变量，其方差为 ，那么

定理 2.2（弱大数定律）

令 为独立随机变量序列，其中所有  均值相等，且方差均为 ，并令 。那么，对于任意 ，

 

3.  坎泰利不等式

坎泰利不等式（Cantelli's inequality）是对切比雪夫不等式单边尾界（tail bound）的改进。尽管此不等式以数学家坎泰利命名，它在切比雪夫的工作中已经出现。

定理 3.1（坎泰利不等式）若是一个随机变量，其方差为 ，那么，对于 

 切比雪夫不等式和坎泰利不等式用到的是随机变量的二阶矩（second-order moment），而若用到更高阶的矩，我们可以得到更强的不等式，比如何-张-张不等式。此不等式指出，若随机变量  满足 ，且 ，则

 

4.  佩利-齐格蒙德不等式

前面的不等式为尾部概率给出了上界，而佩利-齐格蒙德不等式（Paley-Zygmund inequality）为尾部概率给出了下界。此不等式表述如下。

定理 4.1（佩利-齐格蒙德不等式）若是一个非负随机变量，且 ，那么

 5. 霍夫丁不等式

对于有界独立随机变量之和S ，霍夫丁不等式（Hoeffding's inequality）给出了S  偏离其期望的概率的上界。若随机变量  在区间  上取值，那么霍夫丁不等式说指出，n 个随机变量之和  满足

 6. 柯尔莫哥洛夫不等式

柯尔莫哥洛夫不等式（Kolmogorov's inequality）又被称作最大值不等式（maximal inequality），它为随机变量的部分和（partial sum）的绝对值的最大值的尾部概率给出了上界。

7. 最大值不等式

除了柯尔莫哥洛夫的最大值不等式，我们再介绍两个关于随机变量的最大值的期望的不等式。对于满足一定条件的随机变量，这两个不等式中的上界由样本数的对数决定。

定理 8.1（最大值不等式）令  为实值独立随机变量，使得对于任意  和 ，，其中 。那么，

 8. 麦克迪尔米德不等式

麦克迪尔米德不等式（McDiarmid's inequality）是机器学习中很重要的一个不等式，对于关于独立随机变量的函数的样本值与期望值的偏离，它给出了界。此不等式成立的条件是有界差性质（bounded difference property），即当我们只改变多元函数的一个变量时，函数值的差不能太大。

 9. 平斯克不等式

平斯克不等式（Pinsker's inequality）用 KL 散度（Kullback–Leibler divergence）为两个分布的总变分距离（total variation distance）给出了界。