矩函数与切诺夫界（简述Hoeffding Bound）

1.矩函数：

 这部分内容主要是在我的笔记上完成的，我会发布我的笔记内容并且在图片作出讲解。
  矩函数的定义入图所示：在这里插入图片进行描述。

在上图的笔记中我们可以看到矩函数的定义，我们用简单的话来讲：“t的矩函数就是一个t为自变量的一个函数期望”。而且我们还可以知道“矩函数在0处的n阶导数为期望的n阶原点矩”（我们同时对上式进行先求期望后求导数）。

接下来，我们讲一个例子去运用矩函数的求解。具体笔记如图所示：

假设：忍一枚硬币，它正面向上的概率为p，是程几何分布的，它的期望题目中给出，求解矩函数的二阶导。

所以当x=k时，正面朝上的概率P(k)=(1-p)^(k-1)*p。这时我们可以通过定理4.1来进行计算。

由于概率乘以数值加起来等于期望，所以我们可以将k=1到k=∞的所有期望相加。

下一步，我们同时提取出来p/1-p。这样我们式子后面的部分是可以使用等比数列的求和公式的。结果如图所示。

又因为p<1所以我们可以根据式子解出t的范围是t<-ln(1-p)。（求矩函数时要给出t一个范围）。

我们对求出的矩函数进行求导，一阶导时（t=0代入）。二阶导时（t=0代入）答案为t的2阶原点矩。

此处介绍两个定理，4.2、4.3：如图所示：

 

接下来，我们讲介绍Chernoff Bounds也就是切诺夫界。

2.切诺夫界（Chernoff Bounds）

当对于任意一个t>0,我们可以使用马尔可夫不等式获得随机变量X的切诺夫界，可以通过选取合适的t值得到具体的界，是的得出的结果符合最小的界，人们通常选取能给出方便形式的t值。由这种方法得出来的界一般称为切诺夫界。笔记如图所示：

同理我们还可以得出如图所示第二种t<0的情况：

我们通过泊松分布来验证切诺夫界。

设X1，X2，……，Xn是独立泊松试验。当Xi=1时的概率为Pi。（泊努力试验分布 Xi只能为0或1）

对于0-1的独立试验我们可以得出它的期望为所有i=1到i=n的所有概率之和。

对于破松分布分的切诺夫界，我们需要先求出泊松分布的矩函数，然后进行切诺夫界的一般形式。

笔记如图所示：

在X1，X2，……，Xn的独立泊松试验序列中可以得到切诺夫界的一般形式：

如图笔记所示：

可以看出有三个界限，下面的通常要比上面的界更强。

对于t>0我们可以证明，套路为：首先对不等式的两边进行指数化，然后使用马尔可夫不等式计算，然后通过上式计算的期望代入，可以证明1式。同理我可以证明小于的切诺夫界。

此外当取绝对值的时所取的界为两倍的大于界。

举例说明当X1，X2，……，Xn是独立的随机变量，x可以取值为1或-1，值都为1/2。证明X>a的切诺夫界。证明套路：（指数化，马尔可夫，求期望，泰勒公式相加，代入，t特值）证明完成。笔记如图。

3.Hoeffding Bound

简单的说，hoeffdingBound就是对于切诺夫界的一个拓展内容，它可以对于只要是独立分布，可以不同分布的进行一个定界。笔记内容如图所示。

后边为两个例子，我就不为大家一一讲解，大家差不多是可以看懂的，不懂的就用笔算一下。内容为《probability and computing》这本书上的例子。

结束分割线——————————————————————————————————————————————————————-

我也是第一次学习这个内容，中间也有很多不足的地方，希望大家给我私信指出。感谢大家。