信道 | 信息论

离散无记忆信道

信息的传播有三个部分：

1. 输入
2. 通道
3. 输出

当输入只有3种符号的时候，每一种符号对应一个概率，那么我们就可以把输入分布用表格的形式写出来：

X	X1 X2 X3
P	P1 P2 P3

要写输入分布也是同样的套路，把 X 替换成 Y 即可。

信道就是信息传播的通道，我们用一个信道矩阵来表示传播过程。

对称的信道矩阵

这里的对称与高等代数里面的对称定义得不同，信道矩阵如果每行元素都相同，只是排列位置不同，每列元素也都相同，只是排列位置不同的话，我们就称它是对称的。

通过信道矩阵来求联合分布

假如输入分布有：

X	0 1
P	14 34

那么 X,Y 的联合分布就可以通过：

PXY=⎡⎣⎢⎢⎢140034⎤⎦⎥⎥⎥⋅P

来得到， P 前面的矩阵是用输入分布的几个概率放对角线构成的对角矩阵，维度扩大的时候方法是一样的。

离散无记忆拓展信道

拓展这个概念之前写过很多了，一开始只有两个符号，二次拓展就是组合一下两个符号，构成了4个符号；信道的拓展也是一个道理，原来的信道矩阵如果是这样的：

P=[p¯ppp¯]

是一个 2×2 的矩阵，那么拓展后的矩阵就是 4×4 的。

无记忆就是独立的意思，对一个信源 X , 它发出的信息是 X1X2X3⋯XN , 我们有这样的记法：

P(X)=P(X1X2X3⋯XN)

当这个信源是无记忆的时候，各个符号 Xi 互相独立，于是根据概率论的知识：

P(X1X2X3⋯XN)=P(X1)P(X2)P(X3)⋯P(XN)

信道无记忆说的是输出只和当次输入有关，之前的输入都不会对它产生影响，不用担心以前的输入会“把信道弄脏”。

信息不增原理

通过信道以后信息不会增加，这是常识。用数学符号来表示的话要复杂一点，假如我们有3个马氏链： X,Y,Z . X 通过信道变成了 Y , Y 又通过信道变成了 Z . 信息不增原理体现在他们之间的平均互信息不增加：

{I(X;Z)≤I(X;Y)I(X;Z)≤I(Y;Z)

信道容量

C=maxI(X;Y)

容量就是平均互信息的最大值。

对于对称信道来说，输入等概分布的时候，信道容量最大，并且有简便的计算公式：

C=logS−H(P′1P′2⋯P′s)

s表示有s个输出符号，后面是信道矩阵一行的熵；这就是为什么对称的定义是每行元素都一样，排列顺序不同，你去思考求熵的过程，就会得到答案。