深度学习/机器学习入门基础数学知识整理（六）：Hoeffding不等式，

开写之前先推荐一个林轩田先生的书，《Learning From Data》，我从网上得到电子版资源放在这里获取，仅用于学习交流之用，不可用与商用，谢谢。网上还有配套的Slides，我虽然还未看过这本书，但是浏览了一下非常不错，mark一下，希望后面有时间可以静下心来学习一下。

---

直观理解

本章记录一下霍夫丁不等式 Hoeffding Inequality，以及占个位，以后其他类似的不等式也可以记录到这篇来。
在统计推断中，我们可以利用样本的统计量(statistic)来推断总体的参数(parameter)，譬如使用样本均值来估计总体期望。如下图所示，我们从罐子里抽球，希望估计罐子里红球和绿球的比例。(引用[1])

直觉上，如果我们有更多的样本(抽出更多的球)，则样本期望ν应该越来越接近总体期望μ。事实上，这里可以用hoeffding不等式表示如下：

从hoeffding不等式可以看出，当n逐渐变大时，不等式的UpperBound越来越接近0，所以样本期望越来越接近总体期望

具体理解

更详细的资料参考[4]。
现在令X1，X2，…，Xn为[0,1]的独立随机变量，即0<=Xi<=1。我们定义这些变量的经验均值为[3]：

在1963年霍夫丁提出该不等式，其中霍夫丁定理一中的一个不等式为：

当知道Xi严格的边界范围ai，bi（即Xi属于[ai,bi]）时，霍夫丁定理二更加广泛：

这个不等式也可以写成和的形式：

其中

需要注意的是对于Xi为不放回的抽样该等式依然成立；在这样的例子中这些随机变量不在是独立的了。这种情形的证明可以看Hoeffding在1963年发表的论文。如果需要一个在无放回抽样的例子中更好的边界，可以查看Serfling在1974年发表的论文。

详细证明可以参考[3][2][4]

使用实例

我们已经得到如下不等式：

上述不等式可以理解为：

意思是说，样本均值偏离真实期望区间，当样本数量n越大概率越小。所以

我们要求至少上述不等式右边式子的样本数量从而使得估值边间更加靠近真值。

其他不等式

待补充…

参考资料

[1] Hoeffding不等式，https://blog.csdn.net/u013656184/article/details/50178573
[2] 机器学习推导合集01-霍夫丁不等式的推导 Hoeffding Inequality,https://blog.csdn.net/liubai01/article/details/79947975
[3] 机器学习数学原理（8）——霍夫丁不等式, https://blog.csdn.net/z_x_1996/article/details/73564926
[4] Hoeffding’s Inequality, EECS 598: Statistical Learning Theory,
[5] Chernoff-Hoeffding BoundChernoff-Hoeffding Bound, https://zybuluo.com/qqiseeu/note/109942
[6] Hoeffding不等式的证明,https://blog.csdn.net/u010510549/article/details/47839241