不等式(二)-Hoeffding不等式

接着上一节的那些不等式们(一)-Markov与Chebyshev不等式
本节将学习Hoeffding不等式。

Hoeffding不等式

作用与Chebyshev不等式类似，但区间更紧致(增加了独立性约束)

Hoeffding不等式
设相互独立，且，且，令，则对任意，

证明过程如下：

对于凸函数，对于任意，和都满足

如图所示：

因为，即，令，则

又因为，对两边同时取期望，

记，和，可以将上式右边写作

记为，我们对作泰勒展开

易得，而

得到，带入泰勒展开式，得到

因此，

不等式得证。

Hoeffding不等式
设相互独立，且，且，令，则对任意，

令，则对任意，有

其中

对于(2)式证明如下：
令，有，且有

又有，因为，所以的取值只能是，，因此，，那么

取，我们得到
同理可得
因此

不同于其他的不等式是在收敛的情况下等式成立，Hoeffding不等式对于任意n都成立。

Hoeffding不等式应用

Reference

1. 《All of Statistics: A Concise Course in Statistical Inference》by Wasserman, Larry
2. 不等式 by 中科院 卿来云老师课件