【计算机网络】信源编码——香农三大定理

  香农第一定理：可变长无失真信源编码定理。采用无失真最佳信源编码可使得用于每个信源符号的编码位数尽可能地小，但它的极限是原始信源的熵值。超过了这一极限就不可能实现无失真的译码。

  香农第二定理：有噪信道编码定理。当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。

  香农第三定理：保真度准则下的信源编码定理，或称有损信源编码定理。只要码长足够长，总可以找到一种信源编码，使编码后的信息传输率略大于率失真函数，而码的平均失真度不大于给定的允许失真度，即 D’ <= D。

1、香农第一定理 (可变长无失真信源编码定理)

  设离散无记忆信源X包含N个符号{x1,x2,…,xi,…,xN}，信源发出K重符号序列，则此信源可发出 N^ k 个不同的符号序列消息，其中第 j 个符号序列消息的出现概率为 PKj，其信源编码后所得的二进制代码组长度为 Bj，代码组的平均长度B为 B=PK1B1+PK2B2+…+PKN^ k BN^k。
  当 K 趋于无限大时，B 和信息量 H(X) 之间的关系为 B/K = H(X) (K趋近无穷）。

  信源编码定理表明（在极限情况下，随着独立同分布随机变量数据流的长度趋于无穷）不可能把数据压缩得码率（每个符号的比特的平均数）比信源的香农熵还小，不满足的几乎可以肯定，信息将丢失。但是有可能使码率任意接近香农熵，且损失的概率极小。

  香农第一定理的意义：将原始信源符号转化为新的码符号，使码符号尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而可以用尽量少的码符号传输信源信息。

2、香农第二定理（有噪信道编码定理）

  有噪信道编码定理。当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。
  设某信道有 r 个输入符号，s 个输出符号，信道容量为 C，当信道的信息传输率 R < C，码长 N 足够长时，总可以在输入的集合中(含有r^ N个长度为N的码符号序列)，找到 M（(M<=2^ (N(C-a)))，a 为任意小的正数)个码字，分别代表M个等可能性的消息，组成一个码以及相应的译码规则,使信道输出端的最小平均错误译码概率 Pmin达到任意小。
  公式：

  注：B为信道带宽；S/N为信噪比，通常用分贝（dB）表示。

3、香农第三定理（保失真度准则下的有失真信源编码定理）

  保真度准则下的信源编码定理，或称有损信源编码定理。只要码长足够长，总可以找到一种信源编码，使编码后的信息传输率略大于率失真函数，而码的平均失真度不大于给定的允许失真度，即 D’<=D。设 R(D) 为一离散无记忆信源的信息率失真函数，并且选定有限的失真函数，对于任意允许平均失真度 D>=0，和任意小的 a>0，以及任意足够长的码长N，则一定存在一种信源编码 W，其码字个数为 M <= EXP{N[R(D)+a]}，而编码后码的平均失真度 D’(W) <= D + a。

4、总结

  第一定理信源编码定理，是解决通信中信源的压缩问题，也是后来图像和视频压缩的基本定理。

  第二定理信道编码定理，是解决通信中数据能够在特定信道中传输的最大值的问题，即最大数据速率小于信道容量，容量问题是通信中研究最活跃的问题之一，比如4G或LTE中广泛用到的 MIMO（多输入多输出，或多天线）技术，其理论本质是 DavidTse 提出的该容量与天线数成线性递增的关系。

  第三定理有损信源编码定理，解决了在允许一定失真的情况下的信源编码问题，比如jpeg图像编码，mp3音频编码，都是有损的编码，其都是在香农第三定理的界之下得出的。