《信息与编码》考试复习笔记4----第四章离散信道容量

系列文章链接目录

一、《信息与编码》考试复习笔记1----第一章概论
二、《信息与编码》考试复习笔记2----第二章离散信息源
三、《信息与编码》考试复习笔记2----第二章离散信息源相关例题
四、《信息与编码》考试复习笔记3----第三章无失真离散信源编码（重要）
五、《信息与编码》考试复习笔记3----第三章无失真离散信源编码补充例题
六、《信息与编码》考试复习笔记4----第四章离散信道容量
七、《信息与编码》考试复习笔记4----第四章离散信道容量相关例题
八、《信息与编码》考试复习笔记5----第五章纠错编码

---

---

前言

这门课复习的时候有点学不进去，打算以此记录复习过程，也算加深一下印象，与大家一起学习。

本章的复习重点主要在互信息量、离散信道容量相关的计算。

---

一、互信息量

二、平均互信息量

2.1平均互信息量的定义

2.2平均互信息量的物理意义

平均互信息量的三种不同形式的表达式：
（1）从接收端观察：I(X;Y) = H(X) - H(X/Y)
（2）从发送端观察：I(Y;X) = H(Y) - H(Y/X)
（3）从外部观察通信系统整体：I(X;Y) = H(X)+H(Y) - H(XY)

其中H(X/Y)又称为疑义度，H(Y/X)又称为噪声熵。H(XY)是联合熵。

2.3平均互信息量的性质

① 对称性
② 非负性
③ 极值性
④凸函数性

⑤ 数据处理定理

数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。

2.4各种熵之间的关系（重要）

三、单符号离散信道的信道容量

3.1几种特殊离散信道的信道容量

3.1.1具有一一对应关系的无噪信道

3.1.2具有扩展性能的无噪信道

3.1.3具有归并性能的无噪信道

3.2强对称离散信道的信道容量

四、多符号离散信道的信道容量

4.1离散无记忆扩展信道的信道容量

结论1：离散无记忆信道的N次扩展信道的平均互信息，不大于N个随机变量X1X2…XN单独通过信道{X P(Y/X) Y}的平均互信息之和。即：

结论2：离散无记忆信道的N次扩展信道，当输入端的N个输入随机变量统计独立时，信道的总平均互信息等于这N个变量单独通过信道的平均互信息之和。

结论3：离散无记忆信道的N次扩展信道，如果信源也是离散无记忆信源的N次扩展信源，则 信道总的平均互信息是单符号离散无记忆信道平均互信息的N倍。

用C表示离散无记忆信道容量，用C^N表示其扩展信道容量，C^N=NC。

总结

第四章内容与第二章类似，且有许多交叉，比如自信息与互信息，两章结合起来看，多做题加深理解：）