《信息与编码》考试复习笔记3----第三章无失真离散信源编码（重要）

系列文章链接目录

一、《信息与编码》考试复习笔记1----第一章概论
二、《信息与编码》考试复习笔记2----第二章离散信息源
三、《信息与编码》考试复习笔记2----第二章离散信息源相关例题
四、《信息与编码》考试复习笔记3----第三章无失真离散信源编码（重要）
五、《信息与编码》考试复习笔记3----第三章无失真离散信源编码补充例题
六、《信息与编码》考试复习笔记4----第四章离散信道容量
七、《信息与编码》考试复习笔记4----第四章离散信道容量相关例题
八、《信息与编码》考试复习笔记5----第五章纠错编码

---

---

前言

这门课复习的时候有点学不进去，打算以此记录复习过程，也算加深一下印象，与大家一起学习。

本章的复习重点主要在香农编码、费诺编码和赫夫曼编码三种编码方式及相关计算。

一、定长编码定理

定长编码定理可以简单的记忆为：
信息率R=(K/L) log₂m，可以理解为只要R≥H(X)则可以实现无失真编码。反之亦然。

定长编码定理告诉我们：
只要码字传输的信息量大于信源携带的信息量，总可实现几乎无失真编码。

二、变长编码定理

三、香农编码（重要）

3.1 香农编码编码步骤

3.2 香农编码例题

四、费诺编码（重要）

4.1 费诺编码编码步骤

4.2 费诺编码例题

4.2.1 费诺编码例题一

4.2.2 费诺编码例题二

五、哈夫曼编码（重要）

5.1 哈夫曼编码编码步骤

5.2 哈夫曼编码例题

5.2.1 哈夫曼编码例题一

5.2.2 哈夫曼编码例题二

这一题因为是编三进制码，需要多一步处理，即分析第一步需要对几个符号进行编码，看这道例题就可以看懂了。


这一题编码效率结果错了，应该是95.3%。

总结

第三章难点在于熟练掌握三种编码方式的编码步骤，并能计算出平均码长及编码效率，三种编码方式光看步骤晦涩难懂，需要多做题方可参透：）