信息论与编码题库
1.1 第2章
1.1.1 选择题
1. 同时掷两个正常的骰子，各面呈现的概率都是1/6，则“两个1同时出现”事件的自信息量是（ ）。
A、4.17bit B、5.17bit C、4.71bit D、5.71bit
解答：B。
2. 设信源概率空间为 ，则此信源的熵为（ ）三进制信息单位/符号。
A、1 B、2 C、3 D、4
解答：A。
3. 三个离散信源 ，其中（ ）的熵最大。
A、X B、Y C、Z D、一样大
解答：A。
4. 下列离散信源，熵最大的是（ ）。
A、 B、 C、 D、
解答：D。
5. 设x是一个离散随机变量， 和 ， 与 关系是（ ）。
A、H(y1)≥H(y2) B、H(y1)≤H(y2) C、H(y1)<H(y2) D、H(y1)>H(y2)
解答：A。
6. 熵函数 是 的（ ）函数。
A、上凸 B、下凸 C、非凸 D、以上都不对
解答：A。
1.1.2 填空题
1. 冗余度来自两个方面：一是 ；二是 。
解答：信源符号之间的相关性；信源符号分布的不均匀性。
2. 四进制脉冲所含的信息量是二进制脉冲的 倍；八进制脉冲所含的信息量是二进制脉冲的 倍。
解答：2；3
3. 一幅充分洗乱的牌（含52张牌），任一特定排列所给的信息量为 bit，若从中抽取13张，所给的牌点数都不相同，能得到的信息量为 bit。
解答：log52！；9.4793。
4. 信息不增性指的是经过分类或归并性信息处理后，信息 。
解答：只可能减少，不可能增加。
5. 互信息量为两个不确定度之差，是不确定度部分 ，代表已经 。
解答：被消除的；被确定的部分。
1.1.3 问答题
1. 什么是疑义度？什么叫噪声熵？
解答：条件熵H(X/Y)可看作由于信道上的干扰和噪声的缘故，接收端获得Y后还剩余的对信源符号X的平均不确定度，故称为疑义度。条件熵H(X/Y)可看作唯一地确定信道噪声所需要的平均信息量，故称为噪声熵或散布度。
2. 简述离散信源的最大熵定理。对于一个有m个符号的离散信源，其最大熵是多少？
解答：离散信源的最大熵定理：在离散情况下，集合X中的各事件等概率发生时，熵达到极大值，即 。集合中元素的数目m越多，其熵值就越大。一个有m个符号的离散信源，其最大熵为logm。
3. 什么叫信源的冗余度？它主要来自哪两个方面？
解答：信源的冗余度又称剩余度，表征信源信息率多余程度的一个物理量，描述的是信源的相对剩余。冗余度来自两个方面，一是信源符号间的相关性，另一方面是信源符号分布的不均匀性。
1.1.4 计算题
1. 一阶马氏链信源有三个符号{u1,u2,u3}，转移概率为：p(u1/u1)＝1/2，p(u2/u1)＝1/2，p(u3/u1)＝0，p(u1/u2)＝1/3，p(u2/u2)＝0，p(u3/u2)＝2/3，p(u1/u3)＝1/3，p(u2/u3)＝2/3，p(u3/u3)＝0。画出状态图，并求出各符号稳态概率。
解答：一阶马氏链具有3个状态，状态图如图2.1所示。
设各状态的稳态概率 ，则得：
求解上述方程组可得
2. 由符号集{0，1}组成的二阶马氏链，转移概率为：p(0/00)＝0.8，p(0/11)＝0.2，p(1/00)＝0.2，p(1/11)＝0.8，p(0/01)＝0.5，p(0/10)＝0.5，p(1/01)＝0.5，p(1/10)＝0.5。画出状态图，并计算各状态的稳态概率。
解答：二阶马氏链的状态mk＝22＝4，状态图如图所示。设各状态的稳态概率为p(00)、p(01)、p(10)、p(11)，则
解得上述方程组得到 。
3. 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求：（1）“3和5同时出现”这事件的自信息量；（2）“两个1同时出现”这事件的自信息量；（3）两个点数的各种组合（无序对）的熵或平均信息量；（4）两个点数之和（即2,3,…,12构成的子集）的熵；（5）两个点数中至少有一个是1的自信息。
解答：（1）“3和5同时出现”的概率为 ，则该事件的自信息量为 。
（2）“两个1同时出现”的概率为 ，则该事件的自信息量为
（3）两个点数的各种组合的熵为
（4）两个点数之和的熵为
（5）两个点数中至少一个是1的自信息量为 。
4. 设在一只布袋中装有100只对人手的感觉完全相同的木球，每只球上涂有一种颜色。100只球的颜色有下列三种情况：（1）红色球和白色球各50只；（2）红色球99只，白色球1只；（3）红、黄、蓝、白色各25只。试求分别求出从布袋中随意取出一只球时，猜测其颜色所需要的信息量。
解答：（1）红色球和白色球各50只，此时p(红球)=1/2，p(白球)=1/2，从布袋中随意取出一只球时，猜测其颜色所需要的信息量为 。
（2）红球99只，白球1只，此时p(红球)=99/100，p(白球)=1/100，从布袋中随意取出一只球，猜测其颜色所需要的所需信息量为 。
（3）红、黄、蓝、白球各25只，此时p(红球)=1/4，p(黄球)=1/4，p(蓝球)=1/4，p(白球)=1/4，从布袋中随意取出一只球，猜测其颜色所需要的所需信息量为 。
5. 掷两粒骰子，当其向上的面的小圆点数之和是3时，该事件所包含的信息量是多少？当小圆点数之和是7时，该事件所包含的信息量又是多少？
解答：“小圆点数之和是3”有这样2种情况：1-2,2-1，则该事件发生的概率为 ，该事件所包含的信息量为 。
“小圆点数之和是7”有这样6种情况：1-6,6-1,2-5,5-2,3-4,4-3，则该事件发生的概率为 ，该事件包含的信息量为。
6. 设有一离散无记忆信源，其概率空间为 ，试：（1）求每个符号的自信息量；（2）若信源发出一消息符号序列为(202 120 130213 001 203 210 110 321 010 021 032 011 223 210)，求该消息序列的自信息量及平均每个符号携带的信息量。
解答：（1）符号x1的自信息量为 。
同理可求得符号x2和号x3的自信息量为
符号x4的自信息量为 。
（2）该消息序列共包含45个符号，即14个x1、13个x2、12个x3和6个x4，则该消息序列的自信息量为 。
平均每个符号携带的信息量为 。
7. 设某一信源A有6个状态，其概率分布为p(ai)={0.5,0.25,0.125,0.05,0.05.0.025}，求：（1）信源A的信息熵H(A)；（2）消息a1a2a1a2a2a1和a6a4a4a6a4a6的信息量（设信源发出的符号相互独立）；（3）将（2）中的信息量与长度为6的消息序列信息量的期望值作比较。
解答：（1）信源A的熵为H(A)=H(0.5,0.25,0.125,0.05,0.05,0.025)=1.94bit/符号
（2）消息a1a2a1a2a2a1所含的信息量为
消息a6a4a4a6a4a6的信息量为
3）6位长消息序列的信息量期望值为
可以看出， 。
8. 一个袋中有5个黑球、10个白球，以摸一个球为一次实验，摸出的球不再放进去。求：（1）一次实验包含的不确定度；（2）第一次实验X摸出的是黑球，第二次实验Y给出的不确定度；（3）第一次实验X摸出的是白球，第二次实验Y给出的不确定度；（4）第二次实验Y包含的不确定度；
解答：（1）摸一次球的概率为p(bl)=1/3，p(w)=2/3，则一次实验包含的不确定度即为一次实验包含的自信息量为 。
（2）第一次实验摸出的是黑球，第二次实验给出的不确定度即为条件熵 。此时条件概率为 ， ，条件熵为：
（3）第一次摸出的是白球，第二次实验给出的不确定度即为 。此时，条件概率为 ， ，条件熵为：
（4）第二次实验包含的不确定度为即为条件熵 ，
9. 有一个可旋转的圆盘，盘面上被均匀地分成38份，用1，2，…，38数字标示，其中有2份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。（1）若仅对颜色感兴趣，计算平均不确定度；（2）若仅对颜色和数字都感兴趣，计算平均不确定度；（3）如果颜色已知时，计算条件熵。
解答：（1）各颜色出现的概率为 ， ， 。仅对颜色感兴趣，又因为平均不确定在数值上等于平均自信息量，则平均不确定为：
（2）由于颜色是对应某一数字的，只要已知数字即可知道颜色，因而对颜色和数字都感兴趣只需考虑数字即可，则平均不确定度为：
显然，此时条件熵H(颜色/数字) = 0。
（3）如果颜色已知时，条件熵H(数字/颜色)为：
10. 两个试验X和Y，X＝{x1，x2，x3}，Y＝{y1，y2，y3}，联合概率 如下所示，试：（1）如果有人告诉你X和Y的试验结果，你得到的平均信息量是多少？（2）如果有人告诉你Y的试验结果，你得到的平均信息量是多少？（3）在已知Y试验结果的情况下，告诉你X的试验结果，你得到的平均信息量是多少？
解答：（1）如果已知X和Y的试验结果，得到的平均信息量为联合熵H(XY)，直接利用所给的联合概率矩阵，得到
（2）如果已知Y的试验结果，得到的平均信息量为H(Y)。因此，需要计算Y的概率分布。Y的概率分布{p(y1), p(y2), p(y3)}计算方法为 ，可求得：
那么，
（3） 已知Y试验结果的情况下，告知X的试验结果，得到的平均信息量即为条件熵H(X/Y)。H(X/Y)的求法有2种：
解法1：
解法2：
11. 设以8000样值/s的速率对某语音信号进行抽样，并以M=256级对抽样值均匀量化。设抽样值取各量化值得概率相等，且各抽样值之间相互统计独立，求：（1）每个抽样值所包含的平均自信息量；（2）该语音信源的信息输出率。
解答：（1）由题意，采样率为每秒8000次，量化级数为256，则每个抽样值所包含的平均自信息量为 。
（2）该语音信源的信息输出率为 。
12. 布袋中有手感完全相同的3个红球和3个蓝球，每次从中随机取出一个球，取出后不放回布袋。用Xi表示第i次取出的球的颜色，i=1,2,….,6，求：（1） 、 和 ；（2）随k的增加，条件熵 是增加还是减少？请解释。
解答：1）由题意知，P(第一个球是红球)=P(第一个球是蓝球)=0.5，因此 。
P(第二个球是红球)=P(第二个球是蓝球)=0.5，则 。
H(X2/X1)=P(第一个球是红球)*H(X2/第一个球是红球)+P(第一个球是篮球)*H(X2/第一个球是蓝球)=0.5H(2/5)+0.5H(2/5)=0.971bit/符号
2）条件熵 随着k的增加而减少，因为知道以前的结果会降低这次结果的不确定性，以前的结果知道的越多，这次结果的不确定性就越小，直到 。
13. X是一离散随机变量，f是定义在X上的实函数，证明：H(X) ³ H[f(X)]成立，当且仅当f是集合{x：p(X=x)>0}上一对一的函数时取等号。
解答：由于f(X)是定义在X上的实函数，所以f(X)的定义域必定小于等于X的定义域，所以f(X)的不确定度小于等于X的不确定度，即H[f(X)]≤H[X]。只有当f(X)在X的集合上均有定义，且一一对应，没有相同定义时，f(X)的不确定度等于X的不确定度。
14. 一个信源发出二重符号序列消息X1X2，其中第一个符号X1可以是A，B，C中的任一个，第二个符号X2可以是D，E，F，G中的任一个。已知各个概率p(x1i)和p(x2j/x1i)的值如下表所示，求这个信源的熵（即联合熵H(X1X2)）。
| p(x1i) |
A |
B |
C |
|
| 1/2 |
1/3 |
1/6 |
||
| p(x2j/x1i) |
D |
1/4 |
3/10 |
1/6 |
| E |
1/4 |
1/5 |
1/2 |
|
| F |
1/4 |
1/5 |
1/6 |
|
| G |
1/4 |
3/10 |
1/6 |
|
解答：由题意，各条件概率已给出，可以求得联合概率，然后直接应用联合熵的定义式计算H(X1X2)。联合概率为如表所示。
|
|
A |
B |
C |
|
| P(ij) |
D |
1/8 |
1/10 |
1/36 |
| E |
1/8 |
1/15 |
1/12 |
|
| F |
1/8 |
1/15 |
1/36 |
|
| G |
1/8 |
1/10 |
1/36 |
|
15. 有一个马尔可夫信源，已知转移概率为p(s1/s1)＝2/3，p(s2/s1)＝1/3，p(s1/s2)＝1，p(s2/s2)＝0。试求出信源熵。
解答： ，
由方程组 求解得 。
极限平均符号熵 。
16. 一阶马尔可夫信源的状态图如图所示，信源X符号集为{0，1，2}。（1）求平稳后的信源的概率分布；（2）求信源熵H¥；（3）求当p＝0或p＝1时信源的熵，并说明其理由。
解答：（1）转移概率矩阵为 ，
由此可以列出方程组，计算得平稳后的信源的概率分布为1/3，1/3，1/3；
（2）同上题，由状态图可求出信源熵H¥=H(p,1-p)；
（3）当p＝0或p＝1时信源的熵为0，因为此时的信源为确定性信源。
17. 一个信源以相等的概率及1000码元/秒的速率把“0”和“1”码送入有噪声信道，由于信道中噪声的影响，发送为“0”接收为“1”的概率是1/16，而发送为“1”接收为“0”的概率是1/32，求收信者接收的熵速率。（提示：熵速率R=nI(x；y)）
解答：
利用贝叶斯公式得：
同理可得 ，所以
因此，熵速率 。
18. 某一阶马尔可夫信源的状态转移如图所示，信源符号集为X：{0,1,2}，并定义 。试求：（1）信源的极限熵H¥；（2）p取何值时H¥取最大值。
解答：（1）从图中可以看出，该马尔可夫信源的一步转移矩阵为 ，可得
计算得 ，则得
所以，信源熵为
（2）因为
求其对p的一阶导数
令 ，得 。所以当 时，信源的极限熵达到最大值。
19. 三状态马尔可夫信源状态转换图如图所示，试：（1）列出状态转移概率矩阵；（2）列出符号条件概率矩阵；（3）求出稳定后的状态概率分布；（4）求出稳定后的符号概率分布；（5）计算无穷熵 。
解答：（1）状态转移概率矩阵为
（2）符号条件概率矩阵
（3）稳定后的状态概率分布 。
（4）稳定后的符号概率分布为
， 。
（5）计算极限熵 。
20. 已知一阶马尔科夫信源，其转移概率矩阵为 ，试：（1）求出稳定后的状态概率分布；（2）计算该马尔可夫信源的极限熵。
解答：（1）设该信源的稳定状态概率为 ，联立方程 ，求解该方程组可以得到 。
（2）因为 ， ，根据马尔可夫信源极限熵的计算公式可得极限熵为：
21. 有两个同时输出消息的信源X和Y，第一个信源X能输出a,b,c三个消息，第二个信源Y能输出d,e,f,g四个消息，信源X各消息出现的概率为 ，信源Y各消息出现的条件概率为p(y/x)如表2.1所示，求联合信源的熵 、条件熵及 、 和 。
| p(y/x) |
X |
a |
b |
c |
| Y |
d |
1/4 |
3/10 |
1/6 |
| c |
1/4 |
1/5 |
1/2 |
|
| e |
1/4 |
1/5 |
1/6 |
|
| f |
1/4 |
3/10 |
1/6 |
解答：设信源X，Y输出的每一对消息出现的联合概率为p(xy)=p(x)×p(y/x)，由题意可得联合概率的计算结果如表所示。
| p(xy) |
a |
b |
c |
| d e f g |
1/8 1/8 1/8 1/8 |
1/10 1/15 1/15 1/10 |
1/36 1/12 1/36 1/36 |
根据联合熵的计算公式可得：
信源X的熵
条件熵
信源y输出符号d的概率
同理可求出e，f和g的概率为：
， ，
因此，可计算得到：
1.2 第3章
1.2.1 选择题
1. 在有扰离散信道上传输符号1和0，传输过程中每100个符号发生一个错传的符号。已知P(0)＝1/2，P(1)＝1/2，信道每秒钟内允许传输1000个符号，则该信道的信道容量为（ ）。
A、230bit/s B、460bit/s C、840bit/s D、920bit/s
解答：D。
2. 某一待传输的图片约含2.25×106个象元，为了很好地重现图片，需要12个亮度电平。假设所有这些亮度电平等概率出现，设信道中信噪比位30dB，则用3分钟传送一张图片时所需的信道带宽为（ ）。
A、8.96kHz B、4.48kHz C、2.48kHz D、2.4kHz
解答：B。
3. 离散无损信道指的是熵（ ）为0的信道。
A、 B、 C、 D、
解答：C。
4. 离散无噪信道指的是熵（ ）为0的信道。
A、 B、 C、 D、
解答：A。
5. 无干扰信道指的是信道的概率特性满足（ ）。
A、p(x/y)=0 B、p(xy)=0 C、p(y/x)=0 D、以上都不对
解答：C。
1.2.2 填空题
1. 带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式 。
解答： 。
2. 当 为－1.6dB时，归一化信道容量 为 。即信道完全丧失了通信能力。我们把－1.6dB称作 ，是一切编码方式所能达到的理论极限。
解答： 0；香农限。
3. 离散单消息对称信道，其信道容量C等于 。
解答：求最佳输入分布时的最大输出熵。
4. 条件熵H(X/Y)称为损失熵，即信道疑义度，表示信源符号通过 后所引起的信息量的损失。
解答：有噪信道传输。
5. 条件熵H(Y/X)称为噪声熵，它反映了信道中 。
解答：噪声源的不确定性。
1.2.3 名词解释
1. 信道容量
解答：对于某特定信道，若转移概率p(bj/ai)已经确定，则互信息就是关于输入符号分布概率p(ai)的上凸函数，也就是能找到某种概率分布p(ai)，使I(X;Y)达到最大，该最大值就是信道所能传送的最大信息量。
2. 高斯白噪声加性信道
解答：高斯白噪声加性波形信道是指加入信道的噪声是限带的加性高斯白噪声，其均值为0，功率谱密度为N0/2。
3. 香农限
解答：带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式 ；当归一化信道容量 趋近于零时，也即信道完全丧失了通信能力，此时 为-1.6dB，称作香农限，是一切编码方式所能达到的理论极限。
4. 频带利用率
解答： 称为单位频带的信息传输率，即频带利用率。该值越大，信道就利用得越充分。
1.2.4 计算题
1. 设二进制对称信道的概率转移矩阵为 ，（1）若p(x0)＝3/4，p(x1)＝1/4，求H(X)、H(X/Y)、H(Y/X)和I(X；Y)。（2）求该信道的信道容量及其达到信道容量时的输入概率分布。
解答：（1）输入X的熵为 。
条件熵H(Y/X)为：
由 求出联合概率 ，而 ，再利用公式 求出 。
因此， 。
（2）信道容量 。
若要达到信道容量，那么输入应为等概分布，即p(xi)=0.5。
2. 某信源发送端有2个符号，xi，i=1,2，p(x1)=a，每秒发出一个符号。接收端有3种符号yj，j=1,2,3，转移概率矩阵如下 。（1）计算接收端的平均不确定度；（2）计算由于噪声产生的不确定度H(Y/X)；（3）计算信道容量。
解答：（1）由 求出 ，再由 求出p(yj)。
根据公式，接收端的平均不确定度为：
（2）由于噪声产生的不确定度为：
(3)由信道容量的定义可得
由 ，可得a=0.6，所以，信道容量C=0.16 bit/符号。
3. 在有扰离散信道上传输符号1和0，在传输过程中每100个符号发生一个错传的符号。已知P(0)＝1/2，P(1)＝1/2，信道每秒钟内允许传输1000个符号。求此信道的信道容量。
解答：由题意可得该信道的概率转移矩阵P为 ，可以先求出单个符号传输时的速率为：
则此时信道容量为C=0.919×1000=919 bit/s。
4. 求如图中信道的信道容量及其最佳输入概率分布。并求当 ＝0和1/2时的信道容量。
解答：由图可知该信道是对称DMC信道，根据对称DMC信道容量的计算公式可求出：
当ε=0时，C=1.58bit/符号；当ε=1/2时，C=1bit/符号。
5. 求下列两个信道的容量，并加以比较。
（1） （2）
解答：（1）将 分解，可得 和 。利用公式 ，可以求出该信道的信道容量C1为：
(2) 将 分解，可得 和 ，利用公式 可以求出该信道的信道容量C2为：
由于 ，所以C1<C2。
6. 发送端有3种等概符号(x1,x2,x3)，p(xi)=1/3，接收端收到3种符号(y1,y2,y3)，信道转移概率矩阵为 。求：（1）接收端收到一个符号后得到的信息量H(Y)；（2）计算噪声熵H(Y/X)；（3）计算当接收端收到一个符号y2的错误概率；（4）计算从接收端看的平均错误概率；（5）计算从发送端看的平均错误概率；（6）从转移矩阵中你能看出该信道的好坏吗？（7）计算发送端的H(X)和H(X/Y)。
解答：（1）由 求出 ，由 ，可得
（2）噪声熵H(Y/X)为：
（3）当接收端收到一个符号y2的正确概率为 ，相应的错误概率为 。
（4）同理，可计算出接收端收到符号y1和y3的正确概率分别为 ，则相应的错误概率分别为 。
则从接收端看的平均错误概率为 。
(5) 从发送端看的平均错误概率为Σp(xi)(1-p(yj/xi))=0.73
(6) 由于p(x3/y3)=0，该信道传输的错误概率较大，所以较差；
（7）
7. 具有6.5MHz带宽的某高斯信道，若信道中信号功率与噪声功率谱密度之比为45.5，试求其信道容量。
解答：由题意，信号功率与噪声功率谱密度之比为P/N=45.5MHz，代入公式计算可得：
8. 已知一个信道的信道矩阵为 ，传输一个符号所需的时间为1毫秒，求该信道能通过的最大速率。
解答：该信道的信道容量为：
传输一个符号所需的时间为1毫秒，则该信道能通过的最大速率为0.1×1000＝100bit/s
9. 电视图象由30万个像素组成，对于适当的对比度，一个像素可取10个可辨别的亮度电平，假设各个像素的10个亮度电平都以等概率出现，实时传送电视图象每秒发送30帧图象。为了获得满意的图象质量，要求信号与噪声的平均功率比值为30dB，试计算在这些条件下传送电视的视频信号所需的带宽。
解答：由题意知每帧电视图像中各像素的变化有M=10300000种，则每帧图像所包含的信息量为：
每秒发送30帧图像，则信道容量为 。
为获得满意的图像质量，信噪比要求为30dB，则利用公式 求出所需的带宽为：
10. 设某信源输出A、B、C、D、E五种符号，每个符号独立出现，出现的概率分别为1/8,1/8,1/8,1/2,1/8。如果符号的码元宽度为0.5us。计算：（1）信息传输速率Rt；（2）将这些数据通过一个带宽为B=2000KHz的加性高斯白噪声信道传输，噪声的单边功率谱密度为n0=10-6W/Hz。试计算正确传输这些数据最少需要的发送功率P。
解答：（1）信息传输速率为 ，其中 ，则
（2）由香农公式 ，得 ，所以 ，即正确传输这些数据至少需要的发送功率为 。
11. 一个平均功率受限制的连续信道，其通频带为1MHz，信道上存在白色高斯噪声。（1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？（3）若信道通频带减小为0.5MHz时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？
解答：(1) 信道上的信号与噪声的平均功率比值为10，即SNR=10，代入利用香农公式 ，可得
（2）SNR=5，代入公式 可得
（3）将W的值代入公式 ，可得SNR=120。
12. 设某一信号的信息输出率为5.6kbps，噪声功率谱为N=5×10-6mW/Hz，在带宽B=4KHz的高斯信道中传输。试求无差错传输需要的最小输入功率P是多少？
解答：由信道容量和带宽、信号噪声比的关系式可得：
即要求 才能使信号无差错传输，此时 。
13. 图片传输中，每帧约为2.25*106个像素，为能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。试计算每秒钟传送40帧图片所需要的信道带宽（信噪功率比为40dB）。
解答：亮度电平等概分布，则每个象素携带的信息量为log16（bit/pixel），则每秒需传送的信息速率为：
由题意知信噪功率比 ，信道容量为 ，则每秒传送40帧图片所需的信道带宽 。
14. 若已知两信道C1和C2的信道转移概率矩阵分别为 和 ，试求：（1）C3=C1·C2时，信道转移概率矩阵P=？并问其容量是否发生变化？（2）C4=C2·C1时，它能否构成信道？为什么？
解答：（1）两信道C1和C2级联为C3后，信道C3的转移概率矩阵为：
由此可出，转移概率矩阵P不变，所以信道容量不变。
（2）C2C1不能级连构成信道，因为C2的输出符号数不等于C1的输入符号数。
15. 设某语音信号{x(t)}，其最高频率为4kHz，经取样、量化后编成等长码，设每个样本的分层数为128。（1）求此语音信号的信息传输速率是多少（比特/秒）；（2）把这一语音信号送入一噪声功率谱为 ，带宽为4kHz的高斯信道中传输，试求无差错传输时需要的最小输入功率。
解答：（1）考虑每一层是等概分布，则每个采样点含有的信息量为 。
因为最高频率为4kHz，取样速率为8kHz，所以此语音信号的信息传输速率为
（2）无差错传输时需要满足 ，则
所以，无差错传输时需要的最小输入功率为 。
1.3 第4章
1.3.1 选择题
1. 已知某无记忆三符号信源a,b,c等概分布，接收端为二符号集，其失真矩阵为 ，则信源的最大平均失真度Dmax为（ ）。
A、1/3 B、2/3 C、3/3 D、4/3
解答：D
2. 率失真函数的下限为（ ）。
A、H(U) B、0 C、I(U;V) D、没有下限
解答：B
3. 若信源要求无失真地传输，则信息传输率至少应（ ）。
A、大于0 B、等于信源的信息熵
C、大于信源的信息熵 D、以上都不正确
解答：B
4. 以下关于R(D)函数的说法，不正确的是（ ）。
A、R(D) 是关于D的上凸函数 B、R(D)在区间(0, Dmax)上是严格递减函数
C、R(D)是非负函数 D、R(D)的值域为[0, H(X)]
解答：A
5. 以下有关信息率失真函数和信道容量的比较，错误的是（ ）。
A、信道不同，信道容量就不同
B、信源不同，信息率失真就不同
C、信道中由于噪声干扰消失的信息量为H(Y/X)，信源压缩损失的信息量为H(Y/X)
D、信道中由于噪声干扰消失的信息量为H(X/Y)，信源压缩损失的信息量为H(X/Y)
解答：C。
1.3.2 填空题
1. 对于离散信源，无失真时R(0)= ，对连续信源R(0)= 。
解答：H(p)；¥。
2. 信息率失真函数的意义是，对于给定的信源，在满足保真度准则 的前提下，信息率失真函数R(D)是信息率允许 。
解答： ；压缩到的最小值。
3. 信息率失真函数R(D)定义是 ，其物理意义是 。
解答： ；对于给定的信源，在满足保真度准则 的前提下，信息率失真函数R(D)是信息率允许压缩到的最大值。
4. 信息率失真函数R(D)的定义域为[0, Dmax]，其中Dmax是 。
解答：所有满足R(D)=0中D的最小值。
5. 信息率失真函数R(D)是关于D的 函数。
解答：下凸。
1.3.3 计算题
1. 设有一个二元等概率信源X＝{0，1}，p0=p1=1/2，通过一个二进制对称信道（BSC）。其失真函数dij与信道转移概率Pij分别定义为 ， 。试求失真矩阵d和平均失真 。
解答：由题意知 ，可列出失真矩阵 ，平均失真 。
2. 设输入符号表为X＝{0，1}，输出符号表为Y＝{0，1}。输入信号的概率分布为P＝(1/2，1/2)，失真函数为d(0，0)=d(1，1)= 0，d(0，1)=1，d(1，0)=2。试求Dmin、Dmax和R(Dmin)、R(Dmax)以及相应的编码器转移概率矩阵。
解答：由失真矩阵 ，可得Dmin=0，此时 ，相应的转移概率矩阵为 ；
，R(Dmax)=0，相应的转移概率矩阵。
3. 设输入符号表与输出符号表为X＝Y＝{0，1，2，3}，且输入信号的分布为p(X = i ) = 1/4，i＝0，1，2，3，设失真矩阵为 ，求Dmin、Dmax和R(Dmin)、R(Dmax)以及相应的编码器转移概率矩阵。
解答：由失真矩阵 ，可得Dmin＝0， ，相应的转移概率矩阵为 ；
R(Dmax)=0，相应的转移概率矩阵为 （只是其中的一种）。
4. 设输入信号的概率分布为P＝(1/2，1/2)，失真矩阵为 。试求Dmin、Dmax和R(Dmin)、R(Dmax)以及相应的编码器转移概率矩阵。
解答：由失真矩阵 可得Dmin=0， ，相应的转移概率矩阵为 ；
，R(Dmax)=0，相应的转移概率矩阵为 。
1.4 第5章
1.4.1 选择题
1. 为提高通信系统传输消息的有效性，信源编码采用的方法是（ ）。
A、压缩信源的冗余度 B、在信息比特中适当加入冗余比特
C、研究码的生成矩阵 D、对多组信息进行交织处理
解答：A
2. 关于Kraft不等式，正确的是（ ）。
A、如果编码码字满足Kraft不等式，则该码字是唯一可译码
B、Kraft不等式是唯一可译码的充要条件
C、定长码一定满足Kraft不等式
D、即时码有时不满足Kraft不等式
解答：D。
3. 下列说法正确的是（ ）。
A、奇异码是唯一可译码 B、非奇异码是唯一可译码
C、非奇异码不一定是唯一可译码 D、非奇异码不是唯一可译码
解答：C。
4. 有关哈夫曼编码，以下（ ）不是哈夫曼编码需要进一步研究的问题。
A、误差扩散 B、速率匹配 C、概率匹配 D、方差匹配
解答：D。
5. 信源编码中，编码效率与（ ）无关。
A、平均码长 B、H(X) C、信源符号概率分布 D、编码方法
解答：D。
1.4.2 填空题
1. 无失真的信源中，信源输出由 来度量，在有失真的信源中，信源输出由 来度量。
解答：H(X)、R(D)。
2. 无失真信源编码的中心任务是编码后的信息率压缩接近 ；限失真压缩的中心任务是在给定的失真度条件下，信息率压缩接近到 。
解答：H(X)；H(X)-ε。
3. 若一离散无记忆信源的信息熵H(X)等于2.5bit/符号，对信源进行等长的无失真二进制编码，则编码的长度至少为 bit。
解答：3。
4. 变长无失真信源编码定理，又称为 ，定理说明了只要平均码长 信源的熵，就可以实现唯一可译码。
解答：香农第一定理；不小于。
1.4.3 计算题
1. 将某六进信源进行二进编码如表5.1所示。（1）这些码中哪些是唯一可译码？（2）哪些码是非延长码（即时码）？（3）对所有唯一可译码求出其平均码长和编码效率。
表5.1 题1的表
| 消息 |
概率 |
C1 |
C2 |
C3 |
C4 |
C5 |
C6 |
| u1 |
1/2 |
000 |
0 |
0 |
0 |
1 |
01 |
| u2 |
1/4 |
001 |
01 |
10 |
10 |
000 |
001 |
| u3 |
1/16 |
010 |
011 |
110 |
1101 |
001 |
100 |
| u4 |
1/16 |
011 |
0111 |
1110 |
1100 |
010 |
101 |
| u5 |
1/16 |
100 |
01111 |
11110 |
1001 |
110 |
110 |
| u6 |
1/16 |
101 |
011111 |
111110 |
1111 |
110 |
111 |
解答：（1）唯一可译码有C1、C2、C3、C6。
（2）非延长码（即时码）有C1、C3、C6。
（3）
C1码组的平均码长 ，编码效率为 。
C2码组 ，编码效率为 。
C3码组的平均码长 ，编码效率也为94.1%。
C6码组的平均码长 ，编码效率为 。
2. 若消息符号、对应概率分布和二进制编码如下：试求：（1）消息符号熵；（2）每个消息符号所需的平均二进码个数；（3）若各消息符号间相互独立，求编码后对应的二进码序列中出现“0”和“1”的无条件概率p0和p1，以及码序列中的一个二进制码的熵，并求相邻码间的条件概率p(1/1)、p(0/1)、p(1/0)和p(0/0)。
| 消息符号 |
u0 |
u1 |
u2 |
u3 |
| 概率pi |
1/2 |
1/4 |
1/8 |
1/8 |
| 编码 |
0 |
10 |
110 |
111 |
解答：（1）该信源的熵为
（2）平均码长为
（3）若各消息符号间相互独立，求编码后对应的二进码序列中出现“0”和“1”的无条件概率编码为：
3. 某信源有8个符号{ u1 …u8}，概率分别为1/2、1/4、1/8、1/16、1/32、1/64、1/128、1/128，编成这样的码：000，001，010，011，100，101，110，111。试：（1）求信源的符号熵H(u)；（2）求出现一个“1”或一个“0”的概率；（3）求这种码的编码效率；（4）求出相应的香农码和费诺码；（5）求该码的编码效率。
解答：（1）信源熵为：
（2）出现一个“0”的概率：
则出现一个"1"的概率为： 。
（3）编码效率为 。
（4）根据所给的概率，编出的费诺码和香农码是一样的，如表所示。
| 符号 |
概率 |
码字(r=2) |
| u1 |
1/2=64/128 |
0 |
| u2 |
1/4=32/128 |
10 |
| u3 |
1/8=16/128 |
110 |
| u4 |
1/16=8/128 |
1110 |
| u5 |
1/32=4/128 |
11110 |
| u6 |
1/64=2/128 |
111110 |
| u7 |
1/128=1/128 |
1111110 |
| u8 |
1/128=1/128 |
1111111 |
（5）平均码长 。
编码效率为
4. 已知符号集合{x1，x2，x3，…}为无限离散消息集合，它们的出现概率分别为p(x1) = 1/2，p(x2)= 1/4，p(x3) = 1/8，…，p(xi)= 1/2i，…。试：(1)用香农编码方法写出各个符号消息的码字；(2)计算码字的平均信息传输速率；(3)计算信源编码效率。
解答：（1）由香农编码方法可得各个符号消息的码字
| 信源符号xi |
符号概率p(xi) |
累加概率pi |
-log p(xi) |
码字长度ki |
码字 |
| x1 |
1/2 |
0 |
1 |
1 |
1 |
| x2 |
1/4 |
0.5 |
2 |
2 |
01 |
| x3 |
1/8 |
0.75 |
3 |
3 |
001 |
| ... |
... |
... |
... |
... |
... |
| xi |
1/2i |
1-1/2i-1 |
i |
i |
0000…1 |
所以，码字为1，01，001，0001，…，0…01（i-1个“0”和1个“1”）, …
（2）码字的平均信息传输速率为：
(3)由于 ，所以信源编码效率为 。
5. 设有离散无记忆信源P(X)={0.37，0.25，0.18，0.10，0.07，0.03}。（1）求该信源符号熵H(X)。（2）用哈夫曼编码编成二元变长码，计算其编码效率。（3）要求译码错误小于10－3，采用定长二元码要达到(2)中哈夫曼编码的效率，问需要多少个信源符号一起编？
解答：（1）该信源符号熵 。
（2）哈夫曼编码编成的二元变长码（编码过程略），其码字为00，01，11，100，1010，1011。平均码长为 ，则编码效率为：
（3）要求译码错误小于10-3，采用定长二元码，此时
由编码效率 求得 ，由 可得 。
6. 信源符号X有7种字母，概率为(0.32，0.22，0.18，0.16，0.08，0.04)。试：（1）求符号熵H(X)。（2）用香农编码编成二进变长码，计算其编码效率。（3）用费诺编码编成二进变长码，计算其编码效率。（4）用哈夫曼编码编成二进变长码，计算其编码效率。（5）用哈夫曼编码编成三进变长码，计算其编码效率。（6）若用逐个信源符号来编定长二进码，要求不出差错译码，求所需要的每符号的平均信息率和编码效率。（7）当译码差错小于10－3的定长二进码要达到(4)中哈夫曼的效率时，估计要多少个信源符号一起编才能办到？
解答：（1）符号熵 。
（2）香农编码编成二进变长码，如表所示。
| 符号概率p(xi) |
累加概率pi |
-log p(xi) |
码字长度ki |
码字 |
| 0.32 |
0 |
1.644 |
2 |
00 |
| 0.22 |
0.32 |
2.184 |
3 |
010 |
| 0.18 |
0.54 |
2.474 |
3 |
100 |
| 0.16 |
0.72 |
2.644 |
3 |
101 |
| 0.08 |
0.88 |
3.644 |
4 |
1110 |
| 0.04 |
0.96 |
4.644 |
5 |
11110 |
平均码长为 ，则可得编码效率为
。
（3）费诺编码编成二进变长码，如表所示。
| p(xi) |
第一次分组 |
第二次分组 |
第三次分组 |
第四次分组 |
二元码字 |
码长ki |
| 0.32 |
0 |
0 |
|
|
00 |
2 |
| 0.22 |
1 |
01 |
2 |
|||
| 0.18 |
1 |
0 |
10 |
2 |
||
| 0.16 |
1 |
0 |
110 |
3 |
||
| 0.08 |
1 |
0 |
1110 |
4 |
||
| 0.04 |
1 |
1111 |
4 |
平均码长为
编码效率：
（4）哈夫曼编码编成二进变长码（过程略），码字为：10，00，01，110，1110，1111。
平均码长 ，则编码效率
（5）哈夫曼编码编成三进变长码（过程略），编出的码字为： 1，2，00，01，021，022。
平均码长为 ，则编码效率为：
（6）若用逐个信源符号来编定长二进码，且要求不出差错译码，所需要的每符号的平均信息率为3bit/符号，此时编码效率为78.3%。
（7）当译码差错小于10－3的定长二进码要达到(4)中哈夫曼的效率时，此时方差 ，由 ，得 ，则 。
7. 有一9个符号的信源，概率分别为1/4、1/4、1/8、1/8、1/16、1/16、1/16、1/32、1/32，用三进符号（a、b、c）编码。（1）编出费诺码和霍夫曼码，并求出编码效率；（2）若要求符号c后不能紧跟另一个c，编出一种有效码，其编码效率是多少？
解答：（1）费诺码和霍夫曼编码如表所示。
| 符号 |
概率 |
码字(r=3) |
|
|||||||||||||
| u1 |
1/4=8/32 |
a |
|
|||||||||||||
| u2 |
1/4=8/32 |
ba |
|
|||||||||||||
| u3 |
1/8=4/32 |
bb |
|
|||||||||||||
| u4 |
1/8=4/32 |
ca |
|
|||||||||||||
| u5 |
1/16=2/32 |
cba |
|
|||||||||||||
| u6 |
1/16=2/32 |
cbb |
|
|||||||||||||
| u7 |
1/16=2/32 |
cca |
|
|||||||||||||
| u8 |
1/32=1/32 |
ccb |
|
|||||||||||||
| u9 |
1/32=1/32 |
ccc |
|
|||||||||||||
|
|
符号 |
概率 |
码字(r=3) |
|||||||||||||
|
|
u1 |
8/32 |
8/32 |
8/32 |
16/32(a) |
b |
||||||||||
|
|
u2 |
8/32 |
8/32 |
8/32 |
8/32(b) |
c |
||||||||||
|
|
u3 |
4/32 |
4/32 |
8/32(a) |
8/32(c) |
ab |
||||||||||
|
|
u4 |
4/32 |
4/32 |
4/32(b) |
|
ac |
||||||||||
|
|
u5 |
2/32 |
4/32(a) |
4/32(c) |
|
aab |
||||||||||
|
|
u6 |
2/32 |
2/32(b) |
|
|
aac |
||||||||||
|
|
u7 |
2/32(a) |
2/32(c) |
|
|
aaaa |
||||||||||
|
|
u8 |
1/32(b) |
|
|
|
aaab |
||||||||||
|
|
u9 |
1/32(c) |
|
|
|
aaac |
||||||||||
|
|
符号 |
概率 |
码字(r=3) |
|
||||||||||||
|
|
u1 |
8/32 |
8/32 |
8/32 |
16/32(a) |
c |
|
|||||||||
|
|
u2 |
8/32 |
8/32 |
8/32 |
8/32(b) |
aa |
|
|||||||||
|
|
u3 |
4/32 |
4/32 |
8/32(a) |
8/32(c) |
ac |
|
|||||||||
|
|
u4 |
4/32 |
4/32 |
4/32(b) |
|
ba |
|
|||||||||
|
|
u5 |
2/32 |
4/32(a) |
4/32(c) |
|
bb |
|
|||||||||
|
|
u6 |
2/32 |
2/32(b) |
|
|
bc |
|
|||||||||
|
|
u7 |
2/32(a) |
2/32(c) |
|
|
aba |
|
|||||||||
|
|
u8 |
1/32(b) |
|
|
|
abb |
|
|||||||||
|
|
u9 |
1/32(c) |
|
|
|
abc |
|
|||||||||
第二种码方差较小。
信源熵为：
费诺码的平均码长为：
霍夫曼码的平均码长为：
各自的编码效率为 。从上述结果可以看出，霍夫曼码更有效。
（2）若要求符号c后不跟c，则有两种情况必须禁止：
l 在一个码字中出现cc组合；
l 若有一个或多个码字是以符号c开始的，则码字结尾出现c。
下面是一种可能的编码：
表5.13
| 符号 |
概率 |
码字(r=3) |
| u1 |
1/4=8/32 |
a |
| u2 |
1/4=8/32 |
ba |
| u3 |
1/8=4/32 |
bb |
| u4 |
1/8=4/32 |
caa |
| u5 |
1/16=2/32 |
cab |
| u6 |
1/16=2/32 |
cba |
| u7 |
1/16=2/32 |
cbb |
| u8 |
1/32=1/32 |
cbca |
| u9 |
1/32=1/32 |
cbcb |
该码的平均码长为 ，编码效率为 。
还有两种可能的编码（过程略）：
l a,ca,cb,baa,bab,bba,bbb,bca,bcb，其编码效率为0.84。
l c,ba,bb,aa,aba,abb,aca,acba,acbb，其编码效率为0.87。
8. 一信源可能发出的数字有1、2、3、4、5、6、7，对应的概率分别为p(1)=p(2)=1/3，p(3)=p(4)=1/9，p(5)=p(6)=p(7)=1/27，在二进或三进无噪信道中传输，二进信道中传输一个码字需要1.8元，三进信道中传输一个码字需要2.7元。试：（1）编出二进符号的霍夫曼码，求其编码效率；（2）编出三进符号的费诺码，求其编码效率；（3）根据（1）和（2）的结果，确定在哪种信道中传输可得到较小的花费？
解答：（1）二进符号的霍夫曼码编码过程如表所示。
| 符号 |
概率 |
码字(r=2) |
||||||
| u1 |
1/3 |
1/3 |
1/3 |
1/3 |
1/3 |
2/3(0) |
1 |
|
| u2 |
1/3 |
1/3 |
1/3 |
1/3 |
1/3(0) |
1/3(1) |
00 |
|
| u3 |
1/9 |
1/9 |
1/9 |
2/9(0) |
1/3(1) |
|
011 |
|
| u4 |
1/9 |
1/9 |
1/9(0) |
1/9(1) |
|
|
0100 |
|
| u5 |
1/27 |
2/27(0) |
1/9(1) |
|
|
|
01011 |
|
| u6 |
1/27(0) |
1/27(1) |
|
|
|
|
010100 |
|
| u7 |
1/27(1) |
|
|
|
|
|
010101 |
|
信源熵
平均码长
编码效率
（2）码元用a、b、c来表示：
表5.15
| 符号 |
概率 |
码字(r=3) |
| u1 |
1/3 |
a |
| u2 |
1/3 |
b |
| u3 |
1/9 |
ca |
| u4 |
1/9 |
cb |
| u5 |
1/27 |
cca |
| u6 |
1/27 |
ccb |
| u7 |
1/27 |
ccc |
平均长度为 ，编码效率为 。
（3）霍夫曼码（二进制）的花费为 ，费诺码（三进制）的花费为 。由此可见，三进费诺码的花费较小。
9. 设有一马尔可夫信源U={u1,u2,u3}，其状态转移概率矩阵为 ，试求：（1）H(U/S1)、H(U/S2)、H(U/S3)；（2）对各种状态，分别将U的符号编成最佳变长哈夫曼二进码；（3）求H∞(U)，并证上述编码方法的平均码长= H∞(U)。
解答：（1）设信源集合为 ，状态集合为 ，由题意知状态转移概率矩阵为 ，可由下列方程组求解得到状态的稳定概率{pi}：
所以， ，即 。
由状态转移矩阵可得
所以，
（2）哈夫曼编码：
（3）极限熵为 ，平均码长为 ，编码效率为 。可以看出，平均编码长度逼近极限熵 。
10. 已知一个信源X包含8个符号消息，它们的概率分布如表所示。（1）信源每秒钟内发出一个符号，求该信源的熵及信息传输速率；（2）对这8个符号作二进制码元的哈夫曼编码，写出各个代码组，并求出编码效率。
| A |
B |
C |
D |
E |
F |
G |
H |
| 0.1 |
0.18 |
0.4 |
0.05 |
0.06 |
0.1 |
0.07 |
0.04 |
解答：（1）该信源的熵为：
信息传输速率R=2.55bit/s
（2）哈夫曼编码
C 0.4 0
B 0.18 0 1.0
A 0.1 0 0.23 0
F 0.1 0 1 0.37 1 0.61 1
G 0.07 0 0.13
E 0.06 1 0.19 1
D 0.05 0 0.09 1
H 0.04 1
编码结果：
C B A F G E D H
0 110 100 1110 1010 1011 1110 11111
平均码长为
所以编码效率为
1.5 第6章
1.5.1 选择题
1. 已知某线性分组码的最小距离dmin=7，则该码的检错能力为（ ）。
A、4 B、5 C、6 D、7
解答：C。
2. 某(6，3)分组码的许用码字为110100，011010，110011，011101，101001，101110，000111，000000，则该码组的最小码距为（ ）。
A、5 B、4 C、3 D、2
解答：C。
3. 线性分组码不具有的性质是（ ）。
A、任意多个码字的线性组合仍是码字 B、最小汉明距离等于最小非0码字的重量
C、最小汉明距离为3 D、任一码字和其校验矩阵的乘积为0
解答：D。
4. 最大似然译码等价于最大后验概率译码的条件是（ ）。
A、离散无记忆信道 B、无错编码
C、无扰编码 D、消息先验等概
解答：D。
5. (n, k)线性分组码最小距离为的必要条件是（ ）。
A、校验矩阵H中有dmin-1列线性无关 B、校验矩阵H中有dmin列线性无关
C、生成矩阵G中有dmin-1列线性无关 D、生成矩阵G中有dmin列线性无关
解答：A。
1.5.2 填空题
1. 平均错误概率不仅与信道本身的统计特性有关，还与 和 有关。
解答：译码规则；编码方法。
2. 已知n=7的循环码g(x)=x4+x2+x+1，则信息位长度k=3，校验多项式为 。
解答：h(x)=x3+x+1。
3. 定理又称为香农第二极限定理。
解答：有扰离散信道编码。
4. 若分组码的校验矩阵H的列线性无关数为n，则该分组码的最小汉明距离dmin= 。
解答：n。
5. 最大似然译码准则是信道编码时，接收端对收到的码字进行译码时，采用的译码规则是选取 ，这样可使译码差错最小。在输入等概分布的时候，最大后验概率译码即为最大似然译码准则，选取 就可使译码差错最小。
解答：最大的后验概率maxp(xi/yj)；最大的先验概率maxp(yj/xi)。
6. 伴随式定义为 ，反映的是 。
解答： ；信道对码字造成怎样的干扰。
7. 线性分组码中的错误图案E指的是 。在一定的差错范围内，利用 来判断收码是否有误。
解答：R-C；RHT是否为0。
1.5.3 计算题
1. 某系统(8,4)码，其4位校验位vi (i=0,1,2,3)与4位信息位ui, (i=0,1,2,3)的关系是 ，试求：（1）该码的生成矩阵和校验矩阵；（2）该码的最小距离；（3）画出该编码器硬件逻辑连接图。
解答：（1）由校验位与信息位的关系为 ，可以直接写出生成矩阵 ，并由系统码的生成矩阵和校验矩阵的关系得到校验矩阵 。
（2）该码的最小距离为dmin=4。
（3）编码器硬件逻辑连接图为：
| u0 |
u1 |
u2 |
u3 |
输入
|
|
|
|
|
|
|
+ |
输出
| v0 |
v1 |
v2 |
v3 |
2. 列出本章例6-4的(7,4)汉明码的标准阵列译码表。若收码R=(0010100,0111000,1110010)，由标准阵列译码表判断发码是什么。
解答：教材上第六章例6-4的(7,4)汉明码的生成矩阵为 ，校验矩阵为 。
分别以信息组m=(0000),(0001),…(1111)乘以生成矩阵G求出16个码字C0~C15（详见阵列译码表）。
求伴随式与错误图案之间的关系。由 得到方程组 。由于伴随式S有23=8种组合，所以可以将全零图案（1个）和只有一个差错的图案（7个）与伴随式一一对应。将Ej=(0000000)，(1000000)，(0100000)，…，(0000001)代入上述方程组，求得相应的Sj分别为（000），（101），…，（001）详见阵列译码表。
| S0=000 |
C0=0000000 |
C1=0001011 |
C2=0010110 |
C3=0011101 |
C4=0100111 |
C5=0101100 |
C6=0110001 |
C7=0111010 |
| S1=101 |
E1=1000000 |
1001011 |
1010110 |
1011101 |
1100111 |
1101101 |
1011001 |
1111010 |
| S2=111 |
E2=0100000 |
0101011 |
0110110 |
0111101 |
0000111 |
0001100 |
0010001 |
0011010 |
| S3=110 |
E3=0010000 |
0011011 |
0000110 |
0001101 |
0110111 |
0111100 |
0100001 |
0101010 |
| S4=011 |
E4=0001000 |
0000011 |
0011110 |
0010101 |
0101111 |
0100100 |
0111001 |
0110010 |
| S5=100 |
E5=0000100 |
0001111 |
0010010 |
0011001 |
0100011 |
0101000 |
0110101 |
0111110 |
| S6=010 |
E6=0000010 |
0001001 |
0010100 |
0011111 |
0100101 |
0101110 |
0110011 |
0111000 |
| S7=001 |
E7=0000001 |
0001010 |
0010111 |
0011100 |
0100110 |
0101101 |
0110000 |
0111011 |
|
|
C8=1000101 |
C9=1001110 |
C10=1010011 |
C11=1011001 |
C12=1100010 |
C13=1101001 |
C14=1110100 |
C15=1111111 |
|
|
0000101 |
0001110 |
0010011 |
0011000 |
0100010 |
0101001 |
0110100 |
01111111 |
|
|
1100101 |
1101110 |
1110011 |
1111000 |
1000010 |
1001001 |
1010100 |
1011111 |
|
|
1010101 |
1011110 |
1000011 |
1001000 |
1110010 |
1111001 |
1100100 |
1101111 |
|
|
1001101 |
1000110 |
1011011 |
1010000 |
1101010 |
1100001 |
1111100 |
1110111 |
|
|
1000001 |
1001010 |
1010111 |
1011100 |
1100110 |
1101101 |
1110000 |
1111011 |
|
|
1000111 |
1001100 |
1010001 |
1011010 |
1100000 |
1101011 |
1110110 |
1111101 |
|
|
1000100 |
1001111 |
1010010 |
1011001 |
1100011 |
1101000 |
1110101 |
1111110 |
若收码R=(0010100，0111000，1110010)，由表6.3可查出发码为：0010110，0111010，1100010。
3. 某线性分组码的生成矩阵为 ，试：（1）用系统码[I¦P]的形式表示G；（2）计算该码的校验矩阵H；（3）列出该码的伴随式表；（4）计算该码的最小距离；（5）证明：与信息序列[101]相对应的码字正交于H。
解答：（1）生成矩阵的系统形式为
（2）该码的校验矩阵
（3）该码的伴随式方程为
由于伴随式S有4位，共有16种。每个伴随式对应的错误重量最轻的错误图案如表示。
| S |
E |
| 0000 |
0000000 |
| 1110 |
1000000 |
| 0111 |
0100000 |
| 1101 |
0010000 |
| 1000 |
0001000 |
| 0100 |
0000100 |
| 0010 |
0000010 |
| 0001 |
0000001 |
| 0011 |
1010000 |
| 0101 |
0000101 |
| 0110 |
0000110 |
| 1001 |
0001001 |
| 1010 |
0001010 |
| 1100 |
0001100 |
| 1111 |
0101000 |
| 1011 |
0001011 |
（4）该码的最小码间距离为dmin=4。
（5）由 得到与信息序列[101]对应的码字为C=[1010011]。
因为 ，所以码字C与H正交。
4. 某帧所含信息是(0000110101100010101100)，循环冗余校验码的生成多项式是CRC-ITU-T规定的g(x)=x16+x12+x5+1。问附加在信息位后的CRC校验码是什么？
解答：由题意知，信息多项式 。由CRC-ITU-T给出的生成多项式 可得n-k=16。根据CRC循环冗余码的构码方法，需要计算余式 。将m(x)和g(x)代入，用长除法求得：
r(x)=x14+x13+x11+x7+x6+x3+x2+x+1
所以附加在信息位(0000110101100010101100)后的CRC校验码是(0110100011001111)。
5. 已知n＝15的循环码g(x)＝x10＋x8＋x5＋x4＋x2＋x＋1。试：（1）求k和对应的h(x)；（2）如信息多项式m(x)＝x4＋x＋1，求该信息多项式对应的码多项式；（3）若接收码多项式为R(x)＝x14＋x5＋x＋1，判断是否为许用码多项式。
解答：（1）由题意知，k＝15-10＝5，
（2）码多项式c(x)与信息多项式的关系是： 。因此，先计算r(x)。
将各多项式代入上式，并用长除法求得 。因此，
（3）判断某码多项式是否为许用多项式，需要计算r(x)h(x)被(xn+1)除后的余数是否为零。如果为零，则为许用多项式；否则，不是许用多项式。
或计算r(x)被g(x)除后的余式，如果为零，则为许用多项式；否则，不是许用多项式。
所以R(x)＝x14＋x5＋x＋1不是许用码多项式。
6. 已知某汉明码的监督矩阵为 ，试求其生成矩阵。当输入序列为110101101010时，求编码器的输出序列。
解答：由题意知该汉明码为(7,4)线性系统码，且校验矩阵H已知，因此很容易得到该汉明码的生成矩阵 。
当输入序列为1101,0110,1010时，4位信息位编一次码，输出序列为1101001,0110001,1010011。
7. 已知一个(6,3)系统分组码的全部码字为(001011, 110011, 010110, 101110, 100101, 111000, 011101, 000000)。求该码生成矩阵G和校验矩阵H，并计算该码的纠错能力。
解答：由题意得该分组码的生成矩阵为 ，
其监督矩阵为 。
因为 ，所以t=1，即该分组码能纠正1位随机错误。
8. 设一个(7,4)循环码的生成多项式 。当接收矢量为r=(1100100)时，问接收是否有错?如果有错，至少有几个错？该码能否纠正这些错？如果能，求译码器的输出码字c'。
解答：接收是有错误的。将接收矢量为r=(1100100)写成多项式为 ，且
所以接收有错，错误至少有一位。如有1位错误，该码能纠正这个错误。因为 ，所以译码器的输出为1100101。
9. 一个(15,7)的循环码，其生成多项式为 。试：（1）设计该循环码的编码器电路；（2）设信息位为u=(101001)，确定监督位并编成系统码的码字。
解答：
（1）由生成多项式可得该(15,7)循环码的编码电路如下：
|
|
（2）信息位为u=(101001)，则监督位为01100001，编成的系统码字为011000010101001。
10. 某(6,3)线性分组码的生成矩阵 ，试：（1）求系统形式的生成矩阵和系统校验矩阵；（2）计算该码的最小码间距离；（3）若输入信息位m＝110，求相应码字；（4）列出该码的标准阵列译码表；（5）若接收码字为R＝111001，求发码及信息位。
解答：（1）生成矩阵 经过行变换和列置换后，得到其系统形式为 ，相应的系统校验矩阵为 。
（2）从（1）中得到的校验矩阵H可以看出，校验矩阵有2列线性无关，3列就线性相关了，所以该码的最小码间距离为dmin=3。
（3）若输入信息位m＝110，其对应的输出码字为C=mG=mG’=(110110)。
（4）该(6,3)码的标准阵列译码表如表6.4所示。
表6.4 (6,3)码的标准阵列译码表
| s1=000 |
000000 |
001110 |
010101 |
011011 |
100011 |
101101 |
110110 |
111000 |
| s2=011 |
100000 |
101110 |
110101 |
111011 |
000011 |
001101 |
010110 |
011000 |
| s3=101 |
010000 |
011110 |
000101 |
001011 |
110011 |
111101 |
101110 |
101000 |
| s4=110 |
001000 |
000110 |
011101 |
010011 |
101011 |
100101 |
111110 |
110000 |
| s5=100 |
000100 |
001010 |
010001 |
011111 |
100111 |
101001 |
110010 |
111100 |
| s6=010 |
000010 |
001100 |
010111 |
011001 |
100001 |
101111 |
110100 |
111101 |
| s7=001 |
000001 |
001111 |
010100 |
011010 |
100010 |
101100 |
110111 |
111001 |
| s8=111 |
100100 |
101010 |
110001 |
111111 |
000111 |
001001 |
010010 |
011100 |
（5）若接收码字为R＝111001，可以从标准阵列译码表中求得发码和信息位。
解法1：直接查表C=(111000)
解法2： ，查表得C=(111000)
解法3： ，查表得E＝(000001)，C=R+E=(111000)
按题意，该码由G生成，所以对应的信息位m=(011)；
若按系统码生成矩阵 ，则该码是系统码，所以m=(111)。
11. 为某线性分组码设计三种校验矩阵，分别为 ， 和 ，试：（1）当接收码R＝1110000时，分别用上述三种校验矩阵译码；（2）上述三种矩阵定义的是不是同一个码集？（3）将生成相同码集的矩阵化为系统形式。
解答：（1）计算接收码字与校验矩阵转置的积，可得
此时错误图案E=0000000，所以译码输出为C＝R＝1110000。
由于 ，表示接收有错，错误图案为E=0001000，所以译码输出为C＝R＋E＝1111000
（2） 和 定义的是同一个码集。
（3） 和 化成系统形式后， 。
12. 设二元线性码L的生成矩阵为 ，建立码L的标准阵并且对字11111和10000分别进行译码。
解答：由生成矩阵G可以看出该生成矩阵是系统生成矩阵，可直接写出其系统校验矩阵为：
由生成阵知，该码共 组消息，消息和相应的码字关系为：
表
| 消息 |
码字 |
| 00 |
00000 |
| 01 |
01010 |
| 10 |
10000 |
| 11 |
11010 |
其标准阵为
可以看出，该码组的最小码间距离为 ，纠错能力为 。
对11111和10000译码后得到 。
13. 一个(8,4)系统码，它的一致校验方程为 ，其中 是信息位， 是校验位。试：（1）计算该码的生成矩阵G和校验矩阵H；（2）证明该码的最小距离为4。
解答：（1）由题意得
写成矩阵形式为 ，则可得校验矩阵为 ，生成矩阵为 。
（2）该码的最小码距 。
14. 设某卷积码的转移函数矩阵为G(D)=(1+D, 1+D2)，试：（1）试画出该卷积码的编码器结构图；（2）求该卷积码的状态图；（3）求该码的自由距离df。
解答：（1）输出与输入之间的关系为：
输出 ， 。
编码器结果如下所示：
（2）状态共4个，因为当前输出Ci与当前输入mi和前两个时刻的输入mi-1，mi-2有关系。状态图如下：
（3）自由距离df=6。
15. 有一离散信道，其信道矩阵为 ，并设 ，试：1）按最佳译码规则确定译码方法，并计算平均译码错误概率，2）按最大似然概率译码准则确定译码方法，并计算平均译码错误概率。
解答：1）由题意得联合概率矩阵为
根据最佳译码规则制定的译码方法是：
F(y1)= x1 F(y2)= x1 F(y3)= x3
此时，平均错误概率PE =1-1/4-1/6-1/8=11/24
2）根据最大似然概率译码规则，得译码规则为：
F(y1)=x1 F(y2)=x2 F(y3)=x3
收到y1后的错误概率Pe1=1/2
收到y2后的错误概率Pe2=1/2
收到y3后的错误概率Pe3=1/2
Y的概率分布为：{1/4 1/4 1/2}
∴平均错误概率为：
PE=p(y1)*Pe1+p(y2)*Pe2+p(y3)*Pe3=1/4*(1/2)+1/4*(1/2)+1/2*(1/2)=1/2
16. 设C = {00000000, 00001111, 00110011,00111100}是一个二元码。试：（1）计算码C中所有码字之间的距离及最小距离；（2）在一个二元码中，如果把某一个码字中的0和1互换，即0换为1，1换为0，所得的字称为此码字的补。所有码字的补构成的集合称为此码的补码。求码C的补码以及补码中所有码字之间的距离和最小距离，它们与（1）中的结果有什么关系？（3）把（2）中的结果推广到一般的二元码。
解答：（1）根据题意，各码字之间的距离分别为：
d(00000000,00001111)=4，d(00000000,00110011)=4，d(00000000,00111100)=4，
d(00001111,00110011)=4，d(00001111,00111100)=4，d(00110011,00111100)=4
所以码C的最小距离dmin=4。
（2）码C的补码是{11111111, 11110000, 11001100,11000011}
d(11111111,11110000)=4，d(11111111,11001100)=4，d(11111111,11000011)=4，
d(11110000, 11001100)=4，d(11110000, 11000011)=4，d(11001100, 11000011)=4
故C补码的最小距离dmin=4。
（3）推广到一般的二元码也有以上的结论
设码C中任意两码字的距离为d，即两码字有d位不同，n-d位相同。变补后，仍有d位不同，n-d位相同，所以任意两码字的距离不变，最小距离当然不变。
17. 某线性二进制码的生成矩阵为 ，求：（1）用系统码[I P]的形式表示G，并写出对应的系统码校验矩阵H；（2）证明：与信息序列101相对应的码字正交于H；（3）接收码字R=0111011对应的伴随式S=？
解答：（1）对矩阵G初等行变换，得系统生成矩阵 ，
系统校验矩阵 。
（2）由C=mG可求出，输入信息m=(101)对应的输出码字为c=1010011， ，所以与信息序列101相对应的码字正交于H。
（3）伴随式 。
18. 已知某(n, k)线性二元码的全部码字如表所示，试：（1）求n、k的值以及码率R；（2）算出此码的最小距离及检错个数；（3）当接收序列分别为100000和001011时，判断是否为发码，若采用最小距离译码准则，求出这两个收码被译成的发码码字；（4）找出3个线性无关的码字构造该码的生成矩阵G；（5）对生成矩阵G变换，是否可以系统化？求出该码集的校验矩阵H。
| C1 |
C2 |
C3 |
C4 |
C5 |
C6 |
C7 |
C8 |
| 000000 |
000111 |
011001 |
011110 |
101011 |
101100 |
110010 |
110101 |
解答：（1）由码集有8个码字得k=3，n=6；码率R=3/6=0.5。
（2）最小距离dmin=3，检错个数2。
（3）当接收序列分别为100000和001011时，不是发码，采用最小距离译码准则，这两个收码被译成的发码码字分别为C1与C5。
（4）任意3个线性无关的码字组合都可产生生成矩阵 。
（5）生成矩阵 不可以系统化，由C=m×G得到 ，
可以得到校验矩阵 。
19. 一组CRC循环冗余校验码，其生成多项式为。假设发送端发送的信息帧中所包含的信息位是“1010001101”。试求附加在信息位后的CRC校验码。
解答：CRC循环冗余码的生成方法为：
（1）写出信息多项式 ，然后将信息多项式乘以 ，得到 ；
（2）除以生成多项式 ，得到余数为 ，即01110；
（3）信息帧的CRC校验码即为01110，发送的帧为T=101000110101110。
20. 设线性分组码的生成矩阵为 ，求：（1）此(n,k)码的n=？，k=？，并写出此(n,k)码的所有码字；（2）求其对应的一致校验矩阵H；（3）确定最小码距，给出此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式；（4）若接收码字为000110，用伴随式法求译码结果。
解答：（1）n=6，k=3
由C=mG，可得所有码字为000000，000111，011001，011110，101011，101100，110010，110101。
（2）将生成矩阵G进行行变换/列置换，变成系统生成矩阵 ，则系统校验阵为 。
（3）最小汉明距离=3，能纠一位错，最大纠错能力=1。
| 错误图案E |
伴随式S |
| 100000 |
101 |
| 010000 |
110 |
| 001000 |
011 |
| 000100 |
100 |
| 000010 |
010 |
| 000001 |
001 |
（4）由 ，知E=010000，则 。
21. 某二元(3,1,2)卷积码的转移函数矩阵为 ，试：（1）画出该卷积码的编码器结构图；（2）画出该卷积码的状态图。
解答：
（1）该卷积码的编码器构图为：
（2）
如图所示的卷积码编码器。试求：（1）k、m、n分别是多少？（2）写出脉冲相应；（3）当输入u＝110 011 101时，写出生成矩阵并求出对应的码字。
解答：
（1）k=3,m=2,n=4；
（2）
（3）生成矩阵为：
输入u＝110 011 101对应的码字为 。
22. 已知某(3,12)卷积码，其 。试求：（1）画出该卷积码编码器图；（2）画出状态图和格图；（3）当u＝1110100时，求c，并用格图画出编码路径。
答：（1）该卷积码的编码器框图为：
|
l=0 1 2 3 4 5 6 7 |
|
l=0 |
输出码字为：c=111 010 001 110 100 101 011
23. 考虑下图中的卷积码。试：（1）写出编码器的连接矢量和连接多项式；（2）画出状态图；（3）画出网格图；（4）求自由距离df。
解答：（1）由图可知：连接矢量为：g(1)=[1,0,1] g(2)=[0,1,1]
连接多项式为：g(1)（D）= 1+D2 g(2)（D）=D+D2
（2）状态图为：其中（s0:00，s1:01，s2:10，s3:11）
（3）网格图为：
4）该卷积码的自由距离df=4
1.6 第7章
1. 实际的保密系统中，为减小明文的冗余度，可通过 和 方法达到。
解答：信源编码；扩散和混淆
2. DES算法是由 公司正式向美国国家标准局提交的，其密钥共有 位。
解答：IBM；64
3. RSA算法是第一个能同时用于 和 的算法，也易于理解和操作。
解答：加密；数字签名
4. DES算法主要是通过反复使用 和 两种基本的加密组块的方法，达到加密的目的。
解答：替换、换位
1.6.2 计算题
1. 试用公开密钥（e, n）=（5, 51）将报文ABE，DEAD用“A = 01, B = 02, …,Z=26”方式进行加密。
解答：用加密方程 将ABE，DEAD分别代入可得结果为
1，32，14，4，14，1，4
2. 试用秘密密钥（d, n）=（13, 51）将报文4, 1, 5, 1解密。
解答：用解密方程 将4, 1, 5, 1分别代入可得结果为
4，1，20，1
3. 试用公开密钥（e, n）=（3, 55）将报文BID HIGH用“A = 01, B = 02, …,Z = 26”方式进行加密。
解答：用加密方程 将BIG HIGH分别代入可得加密结果为：
8，14，9，17，14，13，17
4. 用秘密密钥（d, n）=（5, 51）将报文4, 20, 1, 5, 20,5, 4解密。
解答：用解密方程 ，将4，20，1，5，20，5，4分别代入可得解密结果为：4，5，1，4，5，14，4。
5. 考虑以下RSA算法：（1）如果质数是p=7，q=11，试举出5个允许的解密密钥d。（2）如果质数是p=13，q=31，解密密钥d=37，试求加密密钥e，并加密单词“DIGITAL”。
解答：（1）两个质数p=7，q=11，欧拉函数f(n)=(p-1)´(q-1)=6´10=60
满足同余方程 的有：
11´11模60=1，19´19模60=1，29´29模60=1，31´31模60=1，49´49模60=1
因此，得到5个允许的d为：11、18、29、31和49。
（2）由37´251 （模360）=1，所以e为251。
用加密方程 将DIGTAL分别代入可得结果。