Chernoff Bound(切诺夫界)以及信道编码中的Gilbert-Varshamov Theorem

一、切诺夫界的定义:

Chernoff Bound(切诺夫界)以及信道编码中的Gilbert-Varshamov Theorem_第1张图片

二、切诺夫界在信道编码中的应用

切诺夫界被用来证明Gilbert-Varshamov Theorem。 

信道编码应用的场景是这样的:在发送一段长度为n比特的信息的时候,由于每个比特都有一定的概率发生传输错误,因此需要冗余编码,来降低信息错误的概率。

最简单的方法就是每一个比特的信息重复几次。例如把(01001)编码为(000111000000111),这样即使传输错误把(000)变成了(010),依然可以被接收方纠错解码为0。

换言之,信道编码通过把长度为n的0-1串\left \{ {0,1}\right \}^{n},编码为长度为m(m>n)的0-1串\left \{ {0,1} \right \}^{m},降低了传输错误的概率。

假设单个码字的错误率\frac{\delta}{2} \in \left ( {0,\frac{1}2{}} \right ),我们希望每一个正确编码的长度m的0-1串两两之间的hamming distance至少是\delta m+1,即可以容错\frac{\delta}{2}m位。那么如何找到最小的冗余编码长度m呢?Gilbert-Varshamov Theorem用概率的方法证明了,当n足够大时:

{m=\frac{2n} {1-H(\delta)}}

其中

证明:

{\left \{ 0,1 \right \}^{m}}中随机抽取两个0-1串{s_{1}},{s_{2}},那么二者的hamming distance小于等于\delta m的概率

{Pr \left \{ d_{H}\left ( s_{1},s_{1} \right )\leq \delta m \right \}= \frac{1}{2^{m}}\sum_{k=0}^{\delta m}\begin{pmatrix} m\\ k \end{pmatrix}}

可以设随机变量X_{i}=\left\{\begin{matrix} 1,s_{1}[i]\neq s_{2}[i]\\ 0,s_{1}[i]= s_{2}[i] \end{matrix}\right.,i=1,2,...,m

由Chernoff Bound的第二个式子得出,{Pr\left \{ X\leq \delta m \right \} }\leq exp\left \{ -mH_{\frac{1}{2}} \left ( 1-\delta \right )\right \}= exp\left \{ m\left ( H\left ( \delta \right )-ln2 \right ) \right \}= \left \{ \frac{exp\left \{ H\left ( \delta \right ) \right \}}{2} \right \}^{m}\leq 2^{-m\left ( 1-H\left ( \delta \right ) \right )}

因此,\binom{2^{n}}{2}个pairs中,出现一对0-1串使得它们的hamming distance\leq \delta m的概率,不超过2^{2n}\cdot 2^{-m\left [ 1-H\left ( \delta \right ) \right ]}

其中第一项是由于\binom{2^{n}}{2}\leq 2^{2n}

为啥不超过呢,是因为对每个pair\left ( s_{1} , s_{2}\right )来说,可以把它们的距离D_{H}\left ( s_{1},s_{2} \right )\leq \delta m的情况看成一个集合,而集合的并集的元素个数不超过每个集合的元素个数之和。

这样只需要令m满足2^{2n-m[1-H\left ( \delta \right )]}< 1即可。因为这表示一定存在一种将\left \{ 0,1 \right \}^{n}编码为\left \{ 0,1 \right \}^{m}的方式,使得新的编码可以容错\frac{\delta}{2}m位。

然而,这个证明是一个存在性证明。也就是说,我们还是不知道怎么找到这样的编码方式。

一种比较常用的构造性的编码是Hamming码。在此就不介绍了(其实是还没学到)。

你可能感兴趣的:(信息传输)