Chernoff Bound（切诺夫界）以及信道编码中的Gilbert-Varshamov Theorem

一、切诺夫界的定义：

二、切诺夫界在信道编码中的应用

切诺夫界被用来证明Gilbert-Varshamov Theorem。 

信道编码应用的场景是这样的：在发送一段长度为n比特的信息的时候，由于每个比特都有一定的概率发生传输错误，因此需要冗余编码，来降低信息错误的概率。

最简单的方法就是每一个比特的信息重复几次。例如把（01001）编码为（000111000000111），这样即使传输错误把（000）变成了（010），依然可以被接收方纠错解码为0。

换言之，信道编码通过把长度为n的0-1串，编码为长度为m(m>n)的0-1串，降低了传输错误的概率。

假设单个码字的错误率，我们希望每一个正确编码的长度m的0-1串两两之间的hamming distance至少是，即可以容错位。那么如何找到最小的冗余编码长度m呢？Gilbert-Varshamov Theorem用概率的方法证明了，当n足够大时：

其中

证明：

从中随机抽取两个0-1串，那么二者的hamming distance小于等于的概率

可以设随机变量

由Chernoff Bound的第二个式子得出，

因此，个pairs中，出现一对0-1串使得它们的hamming distance的概率，不超过

其中第一项是由于。

为啥不超过呢，是因为对每个pair来说，可以把它们的距离的情况看成一个集合，而集合的并集的元素个数不超过每个集合的元素个数之和。

这样只需要令m满足即可。因为这表示一定存在一种将编码为的方式，使得新的编码可以容错位。

然而，这个证明是一个存在性证明。也就是说，我们还是不知道怎么找到这样的编码方式。

一种比较常用的构造性的编码是Hamming码。在此就不介绍了（其实是还没学到）。