霍夫丁不等式（Hoeffding's inequality）

1.简述

  在概率论中，霍夫丁不等式给出了随机变量的和与其期望值偏差的概率上限，该不等式被Wassily Hoeffding于1963年提出并证明。霍夫丁不等式是Azuma-Hoeffding不等式的特例，它比Sergei Bernstein于1923年证明的Bernstein不等式更具一般性。这几个不等式都是McDiarmid不等式的特例。

2.霍夫丁不等式

2.1.伯努利随机变量特例

  掷硬币，假设正面朝上概率为 p p ，反面朝上概率为 1−p 1 − p ，投掷 n n 次，则正面朝上次数的期望值为 np n p 。更进一步，有以下不等式：

P(H(n)≤k)=∑i=0k(ni)pi(1−p)n−i P ( H ( n ) ≤ k ) = ∑ i = 0 k ( n i ) p i ( 1 − p ) n − i

其中， H(n) H ( n ) 是 n n 次投掷中，正面朝上的次数。
  对某一 ε>0 ε > 0 ，有 k=(p−ε)n k = ( p − ε ) n ，上述不等式确定的霍夫丁上界将会按照指数级变化：

P(H(n)≤(p−ε)n)≤exp(−2ε2n)(2.1.1) P ( H ( n ) ≤ ( p − ε ) n ) ≤ e x p ( − 2 ε 2 n ) ( 2.1.1 )

类似地，可以得到：

P(H(n)≥(p+ε)n)≤exp(−2ε2n)(2.1.2) P ( H ( n ) ≥ ( p + ε ) n ) ≤ e x p ( − 2 ε 2 n ) ( 2.1.2 )

综合(2.1.1)(2.1.2)，可得：

P((p−ε)n≤H(n)≤(p+ε)n)≥1−2exp(−2ε2n)(2.1.3) P ( ( p − ε ) n ≤ H ( n ) ≤ ( p + ε ) n ) ≥ 1 − 2 e x p ( − 2 ε 2 n ) ( 2.1.3 )

令 ε=lnn/n‾‾‾‾‾√ ε = ln ⁡ n / n ，代入(2.1.3)，有：

P(|H(n)−pn|≤lnn/n‾‾‾‾‾√)≥1−2exp(−2lnn)=1−2/n2(2.1.4) P ( | H ( n ) − p n | ≤ ln ⁡ n / n ) ≥ 1 − 2 e x p ( − 2 ln ⁡ n ) = 1 − 2 / n 2 ( 2.1.4 )

(2.1.4)即为霍夫丁不等式的伯努利随机变量特例。

2.2.一般形式

  令 X1，⋯，Xn X 1 ， ⋯ ， X n 为独立的随机变量，且 Xi∈[a,b] X i ∈ [ a , b ] ， i=1，⋯，n i = 1 ， ⋯ ， n 。这些随机变量的经验均值可表示为：

X¯=X1+⋯+Xnn X ¯ = X 1 + ⋯ + X n n

  霍夫丁不等式叙述如下：

∀t>0，P(X¯−E[X¯]≥t)≤exp(−2n2t2∑ni=1(bi−ai)2)(2.2.1) ∀ t > 0 ， P ( X ¯ − E [ X ¯ ] ≥ t ) ≤ e x p ( − 2 n 2 t 2 ∑ i = 1 n ( b i − a i ) 2 ) ( 2.2.1 )

令 X¯=−X¯ X ¯ = − X ¯ ，代入上述不等式，可得：

∀t>0，P(E[X¯]−X¯≥t)≤exp(−2n2t2∑ni=1(bi−ai)2)(2.2.2) ∀ t > 0 ， P ( E [ X ¯ ] − X ¯ ≥ t ) ≤ e x p ( − 2 n 2 t 2 ∑ i = 1 n ( b i − a i ) 2 ) ( 2.2.2 )

综合(2.2.1)(2.2.2)，可得霍夫丁不等式的另一种形式：

∀t>0，P(|X¯−E[X¯]|≥t)≤2exp(−2n2t2∑ni=1(bi−ai)2)(2.2.3) ∀ t > 0 ， P ( | X ¯ − E [ X ¯ ] | ≥ t ) ≤ 2 e x p ( − 2 n 2 t 2 ∑ i = 1 n ( b i − a i ) 2 ) ( 2.2.3 )

  若令 Sn=X1+⋯+Xn S n = X 1 + ⋯ + X n ，霍夫丁不等式可叙述为：

∀t>0，P(Sn−E[Sn]≥t)≤exp(−2t2∑ni=1(bi−ai)2)(2.2.4) ∀ t > 0 ， P ( S n − E [ S n ] ≥ t ) ≤ e x p ( − 2 t 2 ∑ i = 1 n ( b i − a i ) 2 ) ( 2.2.4 )

∀t>0，P(E[Sn]−Sn≥t)≤exp(−2t2∑ni=1(bi−ai)2)(2.2.5) ∀ t > 0 ， P ( E [ S n ] − S n ≥ t ) ≤ e x p ( − 2 t 2 ∑ i = 1 n ( b i − a i ) 2 ) ( 2.2.5 )

∀t>0，P(|Sn−E[Sn]|≥t)≤2exp(−2t2∑ni=1(bi−ai)2)(2.2.6) ∀ t > 0 ， P ( | S n − E [ S n ] | ≥ t ) ≤ 2 e x p ( − 2 t 2 ∑ i = 1 n ( b i − a i ) 2 ) ( 2.2.6 )

  从(2.2.1)推导(2.2.4)，只需对不等式 X¯−E[X¯]≥t X ¯ − E [ X ¯ ] ≥ t 左右两边同乘系数 n n ，再令 t=nt t = n t 即可。不难看出，当 Xi X i 为伯努利随机变量时，(2.2.6)即可转化为(2.1.4)。

  需要注意的是， Xi X i 若为无放回抽样时的随机变量，该等式依然成立，尽管此时这些随机变量已不再独立。相关证明可查看Hoeffding在1963年发表的论文。在无放回抽样时，若想要更好的概率边界，可查看Serfling在1974年发表的论文。

---

参考文献

[1] http://blog.csdn.net/z_x_1996/article/details/73564926
[2] https://en.wikipedia.org/wiki/Hoeffding%27s_inequality
以上为本文的全部参考文献，对原作者表示感谢。