切诺夫界 (Chernoff bounds)

以下内容来自此处.
在本文中我们将首先给出若干结论, 再给出切诺夫界及其证明.
设$X$为一随机变量, $a\in \mathbb{R}$, 则对于任意$s>0$, 由马尔科夫不等式有公式1:
$$\mathrm{Pr}(X\ge a)=\mathrm{Pr}(e^{sX}\ge e^{sa})\le \frac{E(e^{sX})}{e^{sa}}$$
类似的, 对于任意$s>0$, 由马尔科夫不等式有公式2:
$$\mathrm{Pr}(X\le a)=\mathrm{Pr}(e^{-sX}\ge e^{-sa})\le \frac{E(e^{-sX})}{e^{-sa}}$$

令$M_X(s)=E(e^{sX})$, 则由泰勒展开得
$$M_X(s)=E(1+sX+\frac{1}{2}{s}^2{X}^2+\frac{1}{3!}{s}^3{X}^3+\cdots )=\sum _{i=0}^{\infty }\frac{1}{i!}{s}^{i}E(X^i)$$

引理1. 令$X_1,\cdots ,X_n$为独立随机向量, $X={\sum }_{i=1}^n{X}_i$, 则
$$M_X(s)=\prod _{i=1}^n{M}_{X_i}(s).$$
证明:
$$M_X(s)=E(e^{sX})=E(e^{s{\sum }_{i=1}^n{X}_i})=E(\prod _{i=1}^n{e}^{s{X}_i})=\prod _{i=1}^{n}E(e^{s{X}_i})=\prod _{i=1}^n{M}_{X_i}(s)$$

引理2. 假设$Y$为一随机变量, 并且$\mathrm{Pr}(Y=1)=p,\mathrm{Pr}(Y=0)=1-p$, 则对于任意$s\in \mathbb{R}$, 有
$$M_Y(s)=E(e^{sY})\le e^{p(e^s-1)}$$
证明:
$$M_Y(s)=E(e^{sY})=p\cdot e^s+(1-p)\cdot 1=1+p(e^s-1)$$
因为$1+y\le e^y$, 令$y=p(e^s-1)$, 则有$M_Y(s)\le e^{p(e^s-1)}$

切诺夫界. 令$X={\sum }_{i=1}^n{X}_i$, 其中$X_1,\cdots ,X_n$相互独立, 且$\mathrm{Pr}(X_i=1)=p_i,\mathrm{Pr}(X_i=0)=1-p_i$. 又令$\mu =E(X)={\sum }_{i=1}^n{p}_i$, 则有:

1. 上尾 (Upper Tail): $\forall \delta >0,\mathrm{Pr}(X\ge (1+\delta )\mu )\le e^{-\frac{{\delta }^2}{2+\delta }\mu }$
2. 下尾 (Lower Tail): $\forall 0<\delta <1,\mathrm{Pr}(X\le (1-\delta )\mu )\le e^{-\frac{{\delta }^2}{2}\mu }$

证明: 由引理1和引理2得,
$$M_X(s)=\prod _{i=1}^n{M}_{X_i}(s)\le \prod _{i=1}^n{e}^{p_i(e^s-1)}=e^{(e^s-1){\sum }_{i=1}^n{p}_i}=e^{(e^s-1)\mu }$$
我们首先证明切诺夫界的上尾.
因为由公式1有$\mathrm{Pr}(X\le a)\le \frac{E(e^{sX})}{e^{sa}}$. 令$a=(1+\delta )\mu ,s=\ln (1+\delta )$. 则有
$$\mathrm{Pr}(X\le (1+\delta )\mu )\le \frac{E(e^{sX})}{e^{sa}}=\frac{e^{s\mu }}{e^{s(1+\delta )\mu }}$$
而当$s>0$时有$s<e^s-1$, 所以
$$\mathrm{Pr}(X\le (1+\delta )\mu )\le \frac{e^{(e^s-1)\mu }}{e^{s(1+\delta )\mu }}=(\frac{e^{(e^s-1)}}{e^{s(1+\delta )}}{)}^{\mu }=(\frac{e^{\delta }}{(1+\delta {)}^{1+\delta }}{)}^{\mu }$$
而$\ln (\frac{e^{\delta }}{(1+\delta {)}^{1+\delta }}{)}^{\mu }=\mu (\delta -(1+\delta )\ln (1+\delta ))$
因为$\forall x>0,\ln (1+x)\ge \frac{x}{1+x/2}$, 所以有
$$\mu (\delta -(1+\delta )\ln (1+\delta ))\le -\frac{{\delta }^2}{2+\delta }\mu$$
所以
$$\mathrm{Pr}(X\le (1+\delta )\mu )\le (\frac{e^{\delta }}{(1+\delta {)}^{1+\delta }}{)}^{\mu }\le e^{-\frac{{\delta }^2}{2+\delta }\mu }$$

下尾的证明过程类似, 只是我们需要令$s=\ln (1-\delta )$并且使用如下不等式:
$$\forall 0<\delta <1,\ln (1-\delta )\ge -\delta +\frac{{\delta }^s}{2}$$

切诺夫界的非伯努利分布版本: 令$X_1,\cdots ,X_n$为随机变量, 其中$a\le X_i\le b,i=1,\cdots ,n$. 又令$X={\sum }_{i=1}^n{X}_i,\mu =E(X)$, 则对于任意$\delta >0$有:

1. 上尾: $\mathrm{Pr}(X\ge (1+\delta )\mu )\le e^{-\frac{2{\delta }^2{\mu }^2}{n(b-a{)}^2}}$
2. 下尾: $\mathrm{Pr}(X\le (1-\delta )\mu )\le e^{-\frac{{\delta }^2{\mu }^2}{n(b-a{)}^2}}$