Hoeffding不等式的证明

Hoeffding不等式：
对于m个独立的随机变量 X1,X2,⋯,Xm ,且所有的 Xi 都有界 [a1,bi] 。令 x¯¯¯=∑i=1mXim ,则有一下不等式成立: P(x¯¯¯−Ex¯¯¯≥t)≤exp(−2t2m2∑i=1m(bi−ai)2)

Proof:
首先，对于任一函数 f(z) ,有： I{f(z)>0}≤exp(ηf(z))⋯⋯⋯⋯⋯⋯⋯(1)
则 P(x¯¯¯−Ex¯¯¯≥t)=E(I{(x¯¯¯−Ex¯¯¯−t≥0)})=E(I{(mx¯¯¯−mEx¯¯¯−mt≥0)})≤E(exp(η(mx¯¯¯−mEx¯¯¯−mt)))⋯⋯⋯⋯⋯⋯⋯(2)

则对于 E(exp(η(mx¯¯¯−mEx¯¯¯−mt)))
∵X1,X2,⋯,Xm 相互独立， ∴Ex¯¯¯=E(∑i=1mXi)m=E(X1+X2+⋯+Xm)m=EX1+EX2+⋯+EXmm 我们有：
E(exp(η(mx¯¯¯−mEx¯¯¯−mt)))=e−ηmTE(exp(η(mx¯¯¯−mEx¯¯¯)))=e−ηmTE(exp{[∑i=1mη(Xi−EXi)]})=e−ηmT∏i=1mE(exp(η(Xi−EXi)))
∵x∈[a1,bi],且exp(η(Xi−EXi))是关于Xi在区间上的凸函数
∴exp(η(Xi−EXi))≤bi−EXibi−aieη(ai−EXi)+EXi−abi−aieη(bi−EXi)=bi−−ai+ai−EXibi−aieη(ai−EXi)+EXi−abi−aieη(bi−EXi)=eη(ai−EXi)−EXi−aibi−aieη(ai−EXi)+EXi−abi−aieη(bi−EXi)=eη(ai−EXi)(1−EXi−aibi−ai+EXi−abi−aieη(bi−ai))

令 p=η(bi−ai),qi=EXi−abi−ai ，则 对于每个Xi来说，p是关于η的变量，q是常量 ，将 p、qi 代入上式：
exp(η(Xi−EXi))≤eη(ai−EXi)(1−EXi−aibi−ai−EXi+EXi−abi−aieη(bi−ai))=e−ηpqi(1−qi+qieηp)=exp(−ηpqi+log(1−qi+qieηp))

令 L(p)=−ηpqi+log(1−qi+qieηp)
则 L′(p)=−ηqi+epqi1−qi+qieηp ， L′′(p)=qiepqi(1−qi)(1−qi+qieηp)2≤14(1−qi+qieηp)2(1−qi+qieηp)2=14
对 L(p) 进行Taylor展开得：
L(p)=L(0)+L′(0)p+L′′(ξ)p22!=L′′(ξ)p22!≤p28
则 E(exp(η(Xi−EXi)))≤E(exp(p28))=exp((η(bi−ai))28)
则 E(exp(η(mx¯¯¯−mEx¯¯¯−mt)))=e−ηmT∏i=1mE(exp(η(Xi−EXi)))≤∏i=1mexp((η(bi−ai))28−ηt)=exp(η2∑i=1m(bi−ai)28−ηmt) 对所有 η都成立
当η取4mt∑i=1m(bi−ai)2时最小,为：exp(−2mt∑i=1m(bi−ai)2)
又P(x¯¯¯−Ex¯¯¯≥t)≤E(exp(η(mx¯¯¯−mEx¯¯¯−mt)))
∴P(x¯¯¯−Ex¯¯¯≥t)≤exp(−2t2m2∑i=1m(bi−ai)2) .即证。