信道容量 | 信道

一、信道容量

信道容量是指在信道上进行无差错传输的最大传输速率，SISO，信道容量是一个数，单位是bit/s or bit/symb，表示每秒信道能传输的最大信息量。
吞吐量：系统在单位时间内传输的正确比特数，bit/s
信道容量>吞吐量

香农公式

$$C=Blo{g}_2(1+\frac{S}{N})=Blo{g}_2(1+\frac{S}{N_{0}B})$$

1. C ：信道容量，单位bit/s
2. B：信道带宽，单位Hz
3. S：平均信号功率，单位W
4. N：噪声平均功率，单位W
5. $N_0$：噪声单边功率谱密度
   增加信道容量方法：增加带宽B/增加信号功率S/减少噪声/干扰信号的功率N

香农公式意义

1. 表示了信道容量与信道带宽之间的关系，信道容量与信道带宽成正比，同时还取决于信噪比和编码技术种类
2. 如果信源速率R<=信道容量C，在理论上，可使信源以任意小的差错概率通过信道传输
3. 如果信源速率R>信道容量C，则没办法传递这样的信息，这种方式传递的二进制信息差错率是$\frac{1}{2}$

香农极限

概念：香农限是指单位时间、单位带宽内传输1bit信息所需的最小信噪比$\frac{E_b}{N_0}$ = -1.59db

$\frac{E_b}{N_0}$ = -1.59db 应该怎么计算？？

二、离散无记忆信道容量(DMC)

• 转移矩阵
  $$(Q_{y|x}{)}_{ij}=p(y=y_i|x=x_i)$$
  无记忆：第n个输入仅与第n个输出有关，即$p(Y_n|Y_{1:n-1},X_{1:n})=p(Y_n|X_n)$
• 信道容量
  DM信道容量C：$C=ma{x}_{p_x}I(X;Y)$，$P_x$为输入分布
  性质：$0\le C\le min(H(X),H(Y))\le min(log|X|,log|Y|)$
• DMC

	二元对称信道(BSC)	二元擦除信道(BEC)	非对称信道
输入符号	$x=[0;1]$	$x=[0;1]$	$x=[0;1;2]$ 分布$p_x=[a,a,1-2a]$
输出符号	$y=[0;1]$	$y=[0;?;1]$	$y=[0;1;2]$
转移矩阵	$$Q=\left[\begin{array}{cc}1-p& p\\ p& 1-p\end{array}\right]$$	$$Q=\left[\begin{array}{ccc}1-f& f& 0\\ 0& f& 1-f\end{array}\right]$$	Q = [ 1 − f f 0 0 f 1 − f 0 0 1 ] Q =\begin{bmatrix} 1-f& f &0 \\ 0 & f & 1-f\\0 & 0 & 1\end{bmatrix} Q= ​1−f00​ff0​01−f1​ ​
互信息	$$I(X;Y)=H(Y)-H(Y|X)\le 1-H(p)$$	$$I(X;Y)=H(X)-H(X|Y)=(1-f)H(X)\le 1-f$$ 当且仅当 X服从均匀分布时，等号成立。	$$\begin{gathered} H(Y)=-2aloga-(1-2a)log(1-2a) \\ H(Y|X)=-2aH(f)+(1-2a)H(1)=2aH(f) \\ I(X;Y)=H(Y)-H(Y|X)=-2aloga-(1-2a)log(1-2a)-2aH(f) \\ \frac{dI(X;Y)}{da}=0\Rightarrow a=(2+2^{H(f)}{)}^{-1} \end{gathered}$$
信道容量	$1-H(p)$ bit	$1-f$	$C=-log(1-2a)$

二元对称信道note

信道通用公式：
如果信道是弱对称，信道容量：$log|Y|-H(Q_1,:)$，$H(Q_1,:)$为转移矩阵任意一行的行熵
弱对称定义：如果信道转移矩阵$p(y|x)$的任意两行相互置换，任意两列也相互置换，则该信道是对称的；如果转移矩阵的每一行$p(\cdot |x)$都是其他行的置换，而所有列的元素和${\sum }_{x}p(y|x)$相等，则该信道是弱对称。

4. 信道容量性质

• 由于$I(X;Y)\ge 0$所以$C\ge 0$
• 由于$C=maxI(X;Y)\le maxH(x)\le log|x|$,所以$C\le log|x|$
• $C\le log|y|$
• I(X;Y)是关于P(x)的一个连续函数
• I(X;Y)在给定$p_{Y|X}$条件下关于$p_X$的凹函数，I(X;Y)在给定$p_X$条件下关于$p_{Y|X}$的凸函数

三、Shannon第二定理

码率R<信道容量C，该码率是可达的，码率R>信道容量C，该码率不可达的
正命题：如果R$(2^{nR},n)$码字序列，使得最大错误率，当$n\to \infty$，${\lambda }^{(n)}\to 0$
逆命题：任何一个$(2^{nR},n)$码字序列，当$n\to \infty$时最大错误概率${\lambda }^{(n)}\to 0$，则必有$B\le C$

参考文章：通信算法基础知识汇总（7）

四、Shannon第三定理

保真度准则下的信源编码定理，或称有损信源编码定律。
只要码长足够长，总能找到一种信源编码，使编码后的信息传输速率略大于失真函数，而码的平均失真度不大于给定的允许失真度。