[信息论与编码]离散信道及信道容量(三）

2021/11/28 from Xwhite

信息传输率

信息传输率R：信道中平均每个符号所传输的信息量

平均互信息I(X;Y) 接收到符号Y后平均获得的关于X的信息量

两者在意义上完全等价，因此信道的信息传输率本质上就是平均互信息，即

R=I(X;Y)=H(X)-H(X|Y)

信息传输速率R_t 指的是信道每秒钟平均传输的信息量，即R_t=1/t*I(X;Y)，单位：bit/sec

信道容量

定义

前面我们说过凸性定理

对于固定信道，即P(y_i|x_i)固定，平均互信息是输入信源概率的上凸函数。

因此，存在一个最佳输入分布，使平均互信息，也就是信息传输率最大，最大值由信道特性决定。

那么最大信息传输率我们定义为信道容量

信道容量的单位是bit/symbol，信息传输率达到信道容量时输入分布称为最佳输入分布。

信道在单位时间内平均传输的最大信息量C_t=1/t*C，单位：bit/sec

说明

• 信道容量与信源的概率分布无关，是完全描述信道统计特性的参量
• 信道容量是信道能够传输的最大信息率，信道输入为最佳概率分布时，信道的信息传输率刚好达到了该信道容量。

信道容量的计算

无噪无损信道（无噪一一对应信道）

噪声会使一个输入对应多个输出（已知输入看输出）

损失会使一个输出对应对应多个输入（已知输出看输入）

• 输入输出一一对应

• 给定任意xi必然存在yj使得p(yj|xi)=p(xi|yj)=1

• H(X|Y)=H(Y|X)=0 I(X;Y)=H(X)=H(Y)
  
  此时信源的最佳输入分布为等概分布
  
  有噪无损失信道
  

• 一个输入对应对各互不相交的输出

• 给定任意输出yj，必然存在输入xi，使得p(xi|yj)=1,反之不一定。

• 损失熵H(X|Y)=0，I(X;Y)=H(X)
  
  此时信源的最佳输入分布为等概分布，r是输入符号的个数
  

无噪有损信道（确定信道）

• 多个输入对应一个输出
• 给定任意输入x_i，必然存在一各输出y_j使得p(y_j|x_i)=1
• 噪声熵H(Y|X)=0 I(X;Y)=H(Y)

离散（准）对称信道的容量

离散输入对称信道（行对称信道）

信道矩阵每一行都是相同元素的排列

离散输出对称信道（列对称信道）

信道矩阵每一列都是相同元素的排列

对称信道

每行都是相同元素的排列

每列都是相同元素的排列

若行数小于列数，则列元素集合为行元素集合的子集

强对称信道（均匀信道）

• 行数等于列数
• 对于每个输入符号，正确传递概率相等，错误传递概率P均匀分配到r-1个符号
• 为r*r阶对称矩阵

准对称信道

• 准对称信道不是对称信道
• 可以按列（按输出）划分出一些对称的子矩阵，即对输出集Y进行划分
• 划分子集只有一个时，就是对称信道

重要引理

对于对称信道，当信道输入概率分布为等概分布时，输出概率分布必为等概分布。此引理对离散列对称信道也成立

对称信道的信道容量

当信道输入概率分布分等概分布时，输出也为等概分布，此时达到信道容量

例题

直接套公式行数为3，s=3

例题

求H(X|Y)这里较为复杂

当然我个人认为也可以利用熵的强可加性

因为我们有P_Y 所以H(Y)已知，H(Y|X)已知

H(XY)=H(X)+H(Y|X)

H(X|Y)=H(XY)-H(Y)

H(X|Y)=H(X)-H(Y)+H(Y|X)
最后结果也是正确的

平均互信息(X;Y)=H(X)-H(X|Y)=0.061bit/符号 也可以是H(Y)-H(Y|X)

第二问

准对称信道的信道容量

当信道输入概率分布为等概分布式，准对称信道达到信道容量

计算通法

准对称信道和对称信道达到信道容量时对应的最佳输入分布均为等概分布

对于有r个符号的信源，其最佳输入分布为P(x_i)=1/r

根据输入输出与信道矩阵的关系，P_Y=P_XP_Y|X

信道容量为C=H(X)-H(X|Y)