[信息论与编码]知识点总结

2021/12/02 from Xwhite
这个是预习完之后，感觉应该掌握的一些知识的总结。总共分成四个大部分吧

信息量与信源熵 公式背住，然后套公式，冗余度的概念

信道和信道容量 概念，互信息的计算，简单信道容量的计算

信源编码 概念，定长编码，变长编码，哈夫曼编码（应该是必考），香农编码

信道编码 挺难的，编码定理得看，纠错编译码的概念看看就行，线性分组码必会，循环码，汉明码。卷积码应该不考

第一章的一些基本概念看书就完了，比如信息、消息、通信模型等。

信息量与信源熵

背熟！背熟！背熟！因为是知识点总结，所以基本只给出公式，想加深了解可以看课本，当然也可以看看本博客的文章

先验概率：比如，考完试你估算自己及格的概率是50%，这就是先验概率，你及格的概率。

后验概率：比如，你估算完之后，你找个最差的同学一问，他说他能及格，也就是在你已知他可能及格的条件下你及格的概率，就是后验概率。

总结

如果做题过程中，题目问的是单个符号的自信息量，那么我们就用以下公式。

如果题目问的是离散信源的信息量，或者熵，就用以下公式。

各概念之间的关系

补充一些概念

我们从信息量的传输角度来看通信模型

信源：发出信息量H(X)——>信道：信道中损失的信息量H(X|Y)——>信宿：接收端获得的信息量I(X;Y)

H(X|Y)：疑义度，也可以叫损失熵，表示由于信道上存在干扰和噪声而损失掉的平均信息量。

H(Y|X)：噪声熵

全损信道：干扰很大，难以从Y中提取X的有效信息，信源发出的所有信息都损失在信道中

• I(X;Y)=0 比如：加密编码

无损信道：没有干扰，接收端能完全收到信源发出的信息。

• I(X;Y)=H(X)

冗余度概念看看书。

想要对这里的深入理解可以看一下课本或者看一下博客中离散信道的文章。

信道和信道容量

信道的概念请自行看书记忆。

总结

信源编码

• 定长码：若一组码中所有码字的码长相同，则称为定长码

• 变长码：若一组码中所有码字的码长各不相同，则称为变长码

• 奇异码：若一组码中存在相同的码字，则称为奇异码。

• 非奇异码：若一组码中所有码字都不相同，则称为非奇异码。

• 分组码：将信源符号集中的每个信源符号s_i映射为一个固定的码字W_i

  唯一可译码：任意一串有限长的码序列符号只能被唯一地译为对应的信源符号序列

  唯一可译码充要条件：编码任意次扩展均为非奇异码：码字与信源符号一一对应 / 码字序列与信源符号序列一一对应

• 等长非奇异码一定是唯一可译码

• 唯一可译码又可以分为即时码和非即时码

  即时码：某个唯一可译码在接收到一个完整的码字时，无需参考后续的码符号就能立即译码，则为即时码

• 奇异码一定不是唯一可译码

• 非奇异码不一定是唯一可译码

Keaft不等式

你可以用这个公式去判断它不是即时码（或唯一可译码），但是不能作为判断是的依据

费诺码(Fano)

• 将信源符号按概率从大到小的顺序排列
• 将依次排列的信源符号按概率分成两组，使每组概率和 尽可能接近或相等
• 给每一组分配一位码元"0"或"1"(分配方式不同导致结果不唯一)
• 将每一组再按同样的方式划分，重复步骤2、3,直至概率不再可分，结束。

香农编码(Shannon)重点

• 将信源符号按概率从大到小的顺序排列
• 求码长，其实就是自信息量向上取整
• 计算第i个符号的累加概率(第i个符号的累加概率是前i-1个符号概率之和)
• 将累加概率P_i变换为二进制小数，取小数点后l_i位作为第i个符号的码字（或者利用公式P_i*r^li，其中r为码元数，l_i为对应码长，将结果的整数部分化为二进制数)

香农编码结果唯一

p_i是累加概率 p_si才是符号概率

霍夫曼码（Huffman）[霍夫曼码是紧致码]（必须会）

就是以前数据结构中学过的哈夫曼树的写法

注意：遇到合并后出现相同概率的，将合并后的作为大概率。然后就是看题目要求是高概率路径写0还是写1

信道编码（难点）

线性分组码（难点重点）

差错图样 接收码字减去发送码字（其实就是模2加）所以 模2加之后哪一位是1，哪一位就出错了。

汉明码

循环码
博客中信息论的后续知识点笔记，由于时间原因(上传比较麻烦），还差信源编码的一部分和信道编码(因为比较难还没有整理好），所以可能要过几天有时间再上传了。