炼气化神——信源编码之定乾坤

续上篇

编码速率（编码信息率）

        设熵为H(S)的离散无记忆信源，若对信源的长为N的符号序列进行定长编码，设码字是从r个码符号集中选取l个码元构成

前者表示长为l的码符号序列能荷载的最大信息量，后者表示长为N的信源符号序列平均携带的信息量。

当满足上式时，则可实现几乎无失真编码

等长编码定理意义：编码速率大于信源熵，才能实现几乎无失真编码

编码效率：

 

由定长编码定理知：

最佳等长编码的效率：

例题：

变长码

特点：只适合较短的情况

要求：

        唯一可译码：必须是非奇异码，而且任意有限长N次扩展码也应该是非奇异的

        即时码：在译码时无需考虑后续的码符号就能立即作出判断译成对应的信源符号

树图法

例如：设信源S有四种不同的码符号S:{s1,s2,s3,s4}信道输入符号集，即码符号集X:{0,1},要求与信源符号s1,s2,s3,s4对应的码字w1,w2,w3,w4的长度分别是n1=1,n2=2,n3=3,n4=4构造即时码。

说明：从根到每一个终端节点所走的路径是不同的，而且中间节点不安排为码字，即没有任何一个码字是另一个码字的延长（即前缀），所以一定满足对前缀的限制（非延长码）。

Kraft不等式

信源符号S（q个），码符号X（r个），对应码字W（q个），对应码长l1，l2...lq

即时码存在的充要条件

注意：Kraft不等式只能判断存在问题，例如，若码长不满足Kraft不等式，则一定不是唯一可译码。

根据上式采用树图法构造即时码

变长编码定理（无失真信源编码定理——香农第一定理）

码字的平均长度越短，Rt越大，传输效率越高

信源变长编码的核心问题就是寻找紧致码

平均码长界定定理

熵为H（S），用具有r个码符号的集X={x1,x2,…,xr}对其编码

等式成立的充要条件：

根据这些码长，就可以按照树图法构造出一种唯一可译码，而且一定是紧致码

平均码长L的下界为信源熵Hr（S）

=

所以该即时码的平均码长应该达到下界

无失真变长编码定理——香农第一定理

N次扩展无记忆信源

平稳遍历的有记忆信源（如马尔科夫信源）

极限熵与logr的信息量的单位必须一致

变长编码的编码速率

表示编码后平均每个信源符号所能承载的最大信息量

为了衡量各种编码与最佳码的差距，引入码的剩余度

码的剩余度

二元信道：r=2时，H(S)=Hr（S）

则   即

例题：

 

结论：

1.用变长编码时，N不需要很大即可达到较大的η，且无失真编码

2.随着N—>∞，编码效率η->1，编码后信息传输率R爷越来越接近二元无损信道的信道容量C=1bit/二元符号，达到信源与信道的匹配，使信道充分利用