信息论与编码

编码在信息论里分为两大块，一块是信道编码，一块是信源编码。

（一）信道编码

1. 香农有噪信道编码定理

香农有噪信道编码定理指出一个令人惊叹的事实，尽管噪声会带来干扰，我们还是可以以任意小的错误概率传送数据信息，这是整个现代信息论的基石，因此此定理也被称为信息原理基本定理。为了达到这个任意小的错误概率，我们需要对信息码元进行监督和检测，这就需要增加数据的冗余度。

同时，给定信道有一个极限信息率，只有在这个信息率下，我们才能达到以任意小的错误概率传送数据信息的目的。这个极限速率就是信道容量C。（附：在被高斯白噪声干扰的信道中，C=B log2(1+S/N)，这被就是香农公式。）香农指出，信道容量是输入输出互信息的最大值，此时的输入分布被称为最佳输入分布。

      换句话说，给定一个误码率0，那么存在一种编解码方式，使信息传输率小于等于R（R），而误码率逼近0。

      此外，若给定一个误码率Pb，那么存在一种编码方式，可以使信息传输速率达到

C/(1-H2(Pb))，其中H2（Pb）= -[Pb*log2Pb+(1-Pb)*log2(1-Pb)]。

2. 如何以任意小的错误概率传输数据

     为了降低传输中的错误，需要增加冗余。线性分组码就是个绝佳例子，它将k个信息元编译成n个码元，添加了监督码元。由于监督码元由信息元产生，与信息元有约束和纠缠的关系，所以其有纠正错误的能力。线性分组码包括汉明码，循环码（目前研究的最透彻）。

然而，如果要提高线性码的校验能力，只能增加校验位，校验位一增加，编、译码设备就得变复杂。为了克服这一点，我们可以使用卷积码。卷积码是有记忆码，它利用各组之间的相关性增加自己的纠错能力，克服了线性分组码的缺点。

（二）信源编码  

1. 香农信源编码定理

为了提高传输速率，需要进行数据压缩。香农的信源编码定理确立了数据压缩的限度。

香农信源编码定理可以这样表示：一个离散平稳无记忆信源X产生了长度为n的信息序列，其数据量为n bit，当n趋近于无穷大时，我们能够以几乎为0的信息损失风险将这个信息压缩到n H（X）bit。相反，若少于n H（X）bit，则信息一定会丢失。

2.码符号的信源编码定理

对于具体的映射码，我们依旧可以给出码符号的信源编码定理:存在一种唯一可译的映射码，它的平均码长大于等于H(X)/log2(a)，小于H(X)/log2(a)+1。这就是信源的最佳编码，期望码长最小。其中a是映射符号集内符号数目。

这两个定理，一个指明了最小压缩限度，一个指明了最小码字长度期望。

3 .无失真信源编码和有失真信源编码

    无失真信源编码只对信源的冗余度进行压缩，而不会改变信源的熵。对于无失真编码，编码函数是一一对应和可逆的。在这个前提下，寻找一种使平均每个信源符号所需要的码符号最短的编码方法就成了重中之重。为此，香农、费诺和霍夫曼都设计了不同的编码方法，其中以霍夫曼的编码方法最佳。

而有失真信源编码为了换取更好的压缩率，通常会对信源的熵做出改动。

我们常见的图片格式PNG和GIF使用的是无损压缩，即无失真信源编码。而常用的jpg，jpeg，gif则是有损压缩模式，为有失真信源编码。

 

（三）总结信息论

信息论是应用数学、电机工程学和计算机科学的分支，涉及信息的量化、存储和通信。它由香农创立和发展，用于寻找信号处理和通信操作的基本限制。如数据压缩的极限，可靠传输的容量限制，数据传输的安全性和传输率之间的关系等等。同时，它也渐渐地渗透入其他领域，诸如统计判断、自然语言处理、密码学、进化论、热物理、量子计算、语言学、异常检测都离不开信息论。

损数据压缩例如zip文件，有损数据压缩例如jpeg和mp3文件，信道编码DSL，都是信息论基本内容的应用。

而信息论的子领域信道编码、信源编码、算法复杂性理论、算法信息论、信息论安全性和信息度量也是人类生活发挥着极其重要的作用。