Hoeffding 不等式

1. 独立同分布：指在随机过程中，任何时刻的取值都为随机变量，如果这些变量的取值服从同一分布，并且互相独立，那么这些变量就是独立同分布的。

同一分布可以是均匀分布，或者伯努利分布等。

2. 独立同分布的中心极限定律：X1，X2，X3.....Xn是独立同分布的n个随机变量，当n很大时，它们的和X=X1+X2+...+Xn可以近似看做服从正态分布的。

3. 0-1分布：又名两点分布，也叫伯努利分布。

但伯努利分布未必一定是0-1分布，也可能是a-b分布，只需要满足相互独立、只取两个值的随机变量通常称为伯努利随机变量。

4. 伯努利分布：随机变量X有伯努利分布，参数为p（0

如果随机变量X只取0和1两个值，并且相应的概率为：

Pr(X=1)=p,Pr(X=0)=1-p, 0

则称随机变量X服从参数为P的伯努利分布。

5.Hoeffding不等式

Hoeffding不等式是关于一组随机变量均值的概率不等式。如果为一组独立同分布的参数为p的伯努利分布随机变量，n为随机变量的个数。定义随机变量的均值为：

             

对于任意，Hoeffding不等式可以表示为

解释：在统计推断中我们可以利用样本的统计量来推断总体的参数，譬如使用样本均值来估计总体期望。如下图所示，我们从罐子里抽球，希望估计罐子里红球和绿球的比例。

直觉上，如果我们有更多的样本(抽出更多的球)，则样本期望ν应该越来越接近总体期望μ。事实上，这里可以用hoeffding不等式表示如下：

从hoeffding不等式可以看出，当n逐渐变大时，不等式的UpperBound越来越接近0，所以样本期望越来越接近总体期望。