【信息论与编码 沈连丰】第三章：离散信源

第三章 离散信源

3.1 离散信源的分类及其描述

1. 信源分类：本质上主要基于两方面来进行分类，一个方面是考虑消息取值集合和取值时刻集合的特性，另一个方面是考虑消息的统计特性
   
   

2. 对于离散有记忆信源发出的符号序列之间的关联性表示方法：
   

3. 条件概率描述了符号之间的记忆特性，同时也给出了符号间的转移特性，也称为转移概率。用转移概率来描述的信源是一种典型的马尔科夫信源

4. 马尔科夫过程和马尔科夫链的定义：

一阶马尔科夫链的记忆长度为2，K阶马尔科夫链的记忆长度为K+1

5. 香农线图：将马尔科夫链状态及其状态转移的情况用线图的方式表示出来的图

3.2 离散信源的熵

1. 发出单符号消息离散无记忆信源熵：

2. 发出符号序列消息离散无记忆信源熵：
   

3. 发出符号序列消息离散有记忆信源熵：（相比于无记忆信源，可以看出符号间的关联性使得信源输出信息量减少）
   
   

4. 发出符号序列信息的马尔科夫信源熵：
   
   

5. 实际应用中通常看单位时间里发出的平均信息量，称为时间熵，就是用单位时间来表示的熵，量纲为bit/s
   
   

3.3 信源的冗余度

1. 研究信源的主要目的是为了信源编码，信源编码的目标是用尽可能少的码元符号或尽可能低的数据速率来描述信源输出的信息；因此需要一些信源参数或度量指标来评价信源编码是不是好，或者是不是有效

2. 最大信源熵：
   
   
   

3. 在信源编码中，总是寻找压缩信源冗余度来提高传输的有效性；在信道编码中，总是采取注入冗余度来提高传输的可靠性。

4. 信源冗余度：

5. 初始信源的冗余度通常很大，这为信源压缩编码提供可能，而压缩编码的目标就是使得编码后的消息系列中的冗余度接近0。冗余度越低，编码效率就越高。

3.4 信源符号序列分组定理

1. 信源压缩编码的本质：
   
   
   

2. 信源符号序列分组定理，也叫渐进均分特性（AEP）：

3.5 平稳离散信源及其性质

1. 从描述信源消息随机过程的平稳性角度，信源可以分为平稳信源和非平稳信源。很多实际信源在较短的一段时间内可以用平稳信源来描述。

2. 平稳离散信源：
   

3. 平稳离散信源的极限熵：

4. 平稳离散信源熵的性质：