信息论与编码（姜丹版）第三章简答题笔记

极限概率存在的条件：各态遍历

各态遍历的含义：

     1）各态相通，均可经历；

     2）由各态历经过程产生的每个序列，都有同样

       的统计特性，具有统计均匀性。

信源的相关性

 n阶马尔可夫信源的极限熵H∞就是离散平稳有记忆信源X的n+1阶条件熵。

离散平稳信源的输出是等概率分布时，平均自信息量最大，且设为H0

信源的相关性：信源符号间的依赖关系增强，信源的熵减小

【熵的相对率的定义】信源实际的信息熵与具有同样符号集的最大熵的比值，也称为相对熵率或信源效率。

【剩余度的定义】剩余度，也称冗余度，或多余度——1减去相对熵率所得之差。

剩余度产生的原因：信源符号间的相关性、信源符号分布的不均匀性

剩余度和熵的关系：剩余度R越大，实际熵H∞越小。说明信源符号之间的依赖关系越强，即符号之间的记忆长度越长；剩余度R越小，表明信源符号之间依赖关系越弱，即符号之间的记忆长度越短；当剩余度等于零时，信源的信息熵就等于最大值H0，这表明信源符号之间不但统计独立无记忆，而且各符号还是等概率分布。

【剩余度的物理意义】剩余度R表示给定信源在实际发出消息时所包含的多余信息，是衡量离散平稳有记忆信源符号间依赖程度大小的尺度。

剩余度的物理意义：在实际通信系统中，从提高信息传输效率（通信的有效性）的角度出发，总是希望减少或消除剩余度，往往需要把信源的大量冗余进行压缩，这是信源编码的作用；从提高信息抗干扰能力（通信的可靠性）来看，总是希望信源增加或保留一定的剩余度。因此在传输之前通常加入某些特殊的剩余度，这是信道编码；在通信系统中，除了在传输或恢复信息时所必须的最少消息外，其他的符号或系统都是剩余的。

剩余度的用途：剩余度大的消息具有强的抗干扰能力；当干扰使消息在传输过程中出现错误时，能通过前后字之间的关联关系纠正错误；从提高抗干扰能力角度出发，总希望增加或保留信源的剩余度。