对于Chernoff边界的理解

        在介绍Chernoff边界之前，首先回顾一下两个重要不等式，Markov不等式和Chebyshev不等式。

        定理1 Markov不等式： 令X为非负随机变量，那么对于任意的a>0，有

        定理2 Chebyshev不等式：令X为期望为E(X)方差为D(X)的随机变量，那么对于任意的a>0，有

        关于以上两个不等式的证明和理解可以参考切比雪夫不等式到底是个什么概念? - 知乎。

        Markov不等式和Chebyshev不等式考虑随机变量取值在一定区间内的概率，而Chernoff边界考虑的是若干随机变量的和的取值概率。它的推导需要用到Markov不等式，我们首先来看一下Chernoff边界的定义。

        定理3 Chernoff边界：令，其中的概率为pi，的概率为1-pi，所有的Xi都是独立的。令。那么

        (i)Upper Tail： for all ；

        (ii)Lower Tail： for all ；

        关于Chernoff边界的证明：

        首先回想一下Markov不等式，对于任意的，

                                          （1）

        同样的，对于任意，有

                                      （2）

        接下来，我们引入矩函数(momont generating function)：

                                                  （3）

        矩函数有着如下性质：

        引理1：如果，其中Xi是独立随机变量，那么。

        定理的证明过程用到了期望的一个性质，即独立变量的乘积的期望等于两个变量期望的乘积，证明过程并不难，这里为了偷懒直接放图片了：

         接下来，我们介绍矩函数的第二个性质：

        引理2：令Y为一个服从0-1分布的随机变量，以p的概率取值为1，以1-p的概率取值为0，那么，对于所有的s∈R来说，都有：

        

         证明过程用到了一个关于的不等式：（该不等式可由泰勒展开式或者函数求导证明）：

        我们现在已经得到了关于矩函数的两个性质，那么，把引理1和引理2相结合，我们可以得到：

                    （4）

        这里μ等于n个随机变量的期望的和也就是X的期望。

        接下来我们首先考虑Chernoff边界的上尾。

        令，应用Markov不等式，得到：

                                         （5）

        然后令，带入上式，可得

                     （6）

        对rhs求以e为底的对数，可得

                                                    （7）

        然后，可证当时，如下不等式成立（可用函数求导证明）：

                                                      （8）

        那么带入7式，可得：

                                    （9）

        带入6式可得：

        上尾证毕。

        关于下尾，证明方法和上尾类似，取，带入（2）式，并利用（可利用泰勒展开式证明）即可完成对下尾的证明。

        参考资料：

        [1]https://math.mit.edu/~goemans/18310S15/chernoff-notes.pdf

        [2]https://people.eecs.berkeley.edu/~jfc/cs174/lecs/lec10/lec10.pdf

        [3]X-Order Lab读书会第一期_Probability and Computing & Chernoff and Hoeffding Bounds_哔哩哔哩_bilibili