8.8 8.9

8.8

已知信道的A={0,1}, B={0,1}, z=[0.75, 0.25]和

计算P(a), P(b), P(b| a), P(a| b) 和 P(a, b).

 

解答

由题目可知

P(a= 0) = 0.75                        P(a= 1) = 0.25

P(b=0|a=0)=2/3                     P(b=0|a=1)=1/10

P(b=1|a=0)=1/3                     P(b=1|a=1)=9/10

 

由P(a, b) = P(b| a)*P(a)可知

P(a=0, b=0) = 0.5                  P(a=1, b=0) = 0.025

P(a=0, b=1) = 0.25                P(a=1, b=1) = 0.225

 

由全概率公式

P(b=0) =0.5+0.025 = 0.525

P(b=1) =0.25+.0225 = 0.475

 

由P(a| b) = P(a, b)/P(b)

P(a=0|b=0)=0.5/0.525=0.95                          P(a=0|b=1)=0.25/0.475=0.53

P(a=1|b=0)=0.025/0.525=0.05                     P(a=1|b=1)=0.225/0.475=0.47

 

8.9

有一个如8.3.2中示例的二进制信源和一个二进制对称信道,令Pbs=3/4, Pe=1/3.

(a)    信源的熵是多少?

(b)    当观测到输出以后,输入的不确定性减少了多少?

(c)    这种不确定性的减少叫做什么? 并与信道容量比较.

 

解答

(a)

对数以2为底, 单位为bit

H(z) = - [3/4log(3/4) + 1/4log(1/4)] = 0.8113bit

(b)

I(z, v) = H(z) – H(z| v) ≈ 0.0616

(c)

这种不确定性的减少称为互信息(mutual information).

信道容量为C = 1 – Hbs(Pe) = 0.0817.

 I(z, v)