应用信息论基础 第五章 信道编码 笔记
学习要点：
- 信道编码分析
- 联合典型序列
- 信道编码定理
- 信源信道联合编码定理
- 信道编码设计
- 经验主义设计
- 编码错误概率
- 典型信道编码
文章目录
- 5.1 基本概念
- 5.2 典型设计
- 5.3 信道编码定理
- 证明正定理
- 证明逆定理
- 5.4 典型信道编码
- 5.5 信源信道联合编码定理
5.1 基本概念
- 从通信角度看信道编码：
- 信道不可靠
- W ^ \hat{W} W^ 与传输的消息 W W W 不同
- 研究目标：
- 使信息经信道传输后出现的差错最小！
- 信道构成 { X , q ( y ∣ x ) , Y } \{\mathcal{X},q(y|x),\mathcal{Y}\} {X,q(y∣x),Y}
- 输入：符号集合 { 1 , 2 , . . . , M } \{1,2,...,M\} {1,2,...,M}
- 编码函数： X n : { 1 , 2 , . . . , M } → X n X^n:\{1,2,...,M\}\to\mathcal{X}^n Xn:{1,2,...,M}→Xn
- 译码函数： g : Y n → { 1 , 2 , . . . , M } g:\mathcal{Y}^n\to\{1,2,...,M\} g:Yn→{1,2,...,M}
- 信道编码 ( M , n ) (M,n) (M,n) 码
信道编码：
- 原理：
- 增加冗余位，扩大信号空间，增大信号间距离
- 分类：
- 比如线性码（linear code）
- 编码函数为线性函数
- 任意个码字的线性组合仍然是码字
性能指标——错误概率：
- 条件错误概率：
λ i = P r { g ( Y n ) ≠ i ∣ X n = x n ( i ) } = ∑ y n q ( y n ∣ x n ( i ) ) I ( g ( y n ) ≠ i ) \begin{aligned} \lambda_i&=\mathrm{Pr}\{g(Y^n)\not=i|X^n=x^n(i)\}\\ &=\sum_{y^n}q(y^n|x^n(i))I(g(y^n)\not=i) \end{aligned} λi=Pr{g(Yn)=i∣Xn=xn(i)}=yn∑q(yn∣xn(i))I(g(yn)=i)
其中 I ( ⋅ ) I(\cdot) I(⋅) 为指示函数
- 最大错误概率：
λ ( n ) = max i ∈ { 1 , . . . , M } λ i \lambda^{(n)}=\max_{i\in\{1,...,M\}}\lambda_i λ(n)=i∈{1,...,M}maxλi
- 算术平均错误概率：
P e ( n ) = 1 M ∑ i = 1 M λ i P_e^{(n)}=\frac{1}{M}\sum_{i=1}^M\lambda_i Pe(n)=M1i=1∑Mλi
- 若输入等概，则算术平均错误概率等于译码错误概率
- 算术平均错误概率 ≤ \le ≤ 最大错误概率
性能指标——码率：
- 码率： R = log ∣ X ∣ M n R=\dfrac{\log_{|\mathcal{X}|}M}{n} R=nlog∣X∣M
- 表示的是每个码字母所能携带的最大信息量，其中 log ∣ X ∣ M \log_{|\mathcal{X}|}M log∣X∣M 是一个发送的消息可能具有的最大熵， n n n 为信道编码的长度，除以 n n n 表示信道码中每个码字所能携带的最大信息量（从原理上讲 R < 1 R<1 R<1），对应的单位是 bits/传输。（每一传输实际上就是发送一个信道码的一位，因为对于一个消息来说其信道码有 n n n 位，所以需要 n n n 次传输）
- 可达：
- 若存在（二元）序列 ( ⌈ 2 n R ⌉ , n ) (\lceil2^{nR}\rceil,n) (⌈2nR⌉,n) 满足： n → ∞ n\to\infty n→∞ 时， λ ( n ) → 0 \lambda^{(n)}\to 0 λ(n)→0，则称码率 R R R 是可达的（achievable）
- 2 n R ≤ ⌈ 2 n R ⌉ < 2 n R + 1 2^{nR}\le\lceil2^{nR}\rceil<2^{nR}+1 2nR≤⌈2nR⌉<2nR+1
- ( ⌈ 2 n R ⌉ , n ) (\lceil 2^{nR}\rceil,n) (⌈2nR⌉,n) 简记为 ( 2 n R , n ) (2^{nR},n) (2nR,n)
- 若存在（二元）序列 ( ⌈ 2 n R ⌉ , n ) (\lceil2^{nR}\rceil,n) (⌈2nR⌉,n) 满足： n → ∞ n\to\infty n→∞ 时， λ ( n ) → 0 \lambda^{(n)}\to 0 λ(n)→0，则称码率 R R R 是可达的（achievable）
信道容量的定义：
- 离散无记忆信道（DMC）的信道容量为所有可达码率的上确界（上确界指的是最小上界）， C = sup R C=\sup{R} C=supR
- 小于信道容量的码率可以获得任意小的差错概率
- 蕴含着渐进无差错和码的存在性，指导工程实践
- 信道容量定义： C = max I ( X ; Y ) C=\max I(X;Y) C=maxI(X;Y)，相对容易求解，但无法保证信道无差错传输
- 香农第二定理说明了上述两种定义等价
C = sup R ⟺ C = max I ( X ; Y ) C=\sup{R}\iff C=\max I(X;Y) C=supR⟺C=maxI(X;Y)
5.2 典型设计
- 信道传输中如何减少差错？
- 香农公式： C = W log ( 1 + P s N 0 W ) C=W\log{(1+\dfrac{P_s}{N_0W})} C=Wlog(1+N0WPs)
- 提高抗干扰能力的方法：
- 增加功率（提高信噪比）
- 加大带宽（信号变化剧烈）
- 延长时间（降低速率）
- 最直观的设计：重复和增加冗余
重复码：
二进制信道编码的码率-误差分析：
- 码率 R = k n R=\dfrac{k}{n} R=nk
- 误码率 P e = 1 k ∑ i = 1 k P e i , P e i = { v i ≠ u i } , i = 1 , . . . , k P_e=\frac{1}{k}\sum_{i=1}^kP_e^i,P_e^i=\{v_i\not=u_i\},i=1,...,k Pe=k1∑i=1kPei,Pei={vi=ui},i=1,...,k
- 码率 R R R 和误码率 P e P_e Pe 在二进制独立信源以及二进制独立信道下的关系：
R ≤ 1 − H ( p ) 1 − H ( P e ) R\le\frac{1-H(p)}{1-H(P_e)} R≤1−H(Pe)1−H(p)
证明：
- Fano 不等式（二进制）
H ( X ∣ Y ) ≤ H ( P e ) + P e log ( K − 1 ) = H ( P e ) H(X|Y)\le H(P_e)+P_e\log(K-1)=H(P_e) H(X∣Y)≤H(Pe)+Pelog(K−1)=H(Pe) - 互信息
I ( X ; Y ) ≥ I ( U , V ) ≥ ∑ i = 1 k I ( U i ; V i ) = ∑ i = 1 k ( H ( U i ) − H ( U i ∣ V i ) ) = k − ∑ i = 1 k H ( U i ∣ V i ) ≥ k − k H ( P e ) \begin{aligned} I(X;Y)&\ge I(U,V)\ge\sum_{i=1}^kI(U_i;V_i)\\ &=\sum_{i=1}^k(H(U_i)-H(U_i|V_i))=k-\sum_{i=1}^kH(U_i|V_i)\\ &\ge k-kH(P_e) \end{aligned} I(X;Y)≥I(U,V)≥i=1∑kI(Ui;Vi)=i=1∑k(H(Ui)−H(Ui∣Vi))=k−i=1∑kH(Ui∣Vi)≥k−kH(Pe)
n C ≥ k ( 1 − H ( P e ) ) ⟹ k n ≤ 1 − H ( p ) 1 − H ( P e ) nC\ge k(1-H(P_e))\implies\frac{k}{n}\le\frac{1-H(p)}{1-H(P_e)} nC≥k(1−H(Pe))⟹nk≤1−H(Pe)1−H(p)
无差错传输的要求：
- 传输速率与信道容量 R ≤ 1 − H ( p ) 1 − H ( P e ) = C 1 − H ( P e ) R\le\dfrac{1-H(p)}{1-H(P_e)}=\dfrac{C}{1-H(P_e)} R≤1−H(Pe)1−H(p)=1−H(Pe)C
- 误码率 P e ≥ H − 1 ( 1 − C R ) P_e\ge H^{-1}(1-\dfrac{C}{R}) Pe≥H−1(1−RC)
- 若 R > C R>C R>C，则 P e > 0 P_e>0 Pe>0，传输有差错，通信不可靠
- 若 R < C R
R<C 或 R = C R=C R=C， P e P_e Pe 可以等于零
好码的要求：
- 相同误码率下，码率越高越好
- P e = 0 P_e=0 Pe=0， R R R 能无限提高吗？（信道编码定理想要回答的问题）
5.3 信道编码定理
典型序列（Typical Sequence）
- 渐进均分性定理（AEP）
- 若 X 1 , . . . X n ∼ p ( x ) , i . i . d . , E X n = μ < ∞ X_1,...X_n\sim p(x),i.i.d.,EX_n=\mu<\infty X1,...Xn∼p(x),i.i.d.,EXn=μ<∞，则
1 n log p ( X 1 , . . . , X n ) ⟶ 依概率 H ( X ) \frac{1}{n}\log{p(X_1,...,X_n)}\overset{\text{依概率}}{\longrightarrow} H(X) n1logp(X1,...,Xn)⟶依概率H(X)
- 若 X 1 , . . . X n ∼ p ( x ) , i . i . d . , E X n = μ < ∞ X_1,...X_n\sim p(x),i.i.d.,EX_n=\mu<\infty X1,...Xn∼p(x),i.i.d.,EXn=μ<∞，则
- 典型序列及典型集（typical set）
- 序列 ( x 1 , . . . , x n ) ∈ X n (x_1,...,x_n)\in\mathcal{X}^n (x1,...,xn)∈Xn 满足 2 − n ( H ( X ) + ϵ ) ≤ p ( x 1 , . . . , x n ) ≤ 2 − n ( H ( X ) − ϵ ) 2^{-n(H(X)+\epsilon)}\le p(x_1,...,x_n)\le 2^{-n(H(X)-\epsilon)} 2−n(H(X)+ϵ)≤p(x1,...,xn)≤2−n(H(X)−ϵ)，典型序列的集合称为典型集 A ϵ ( n ) A_\epsilon^{(n)} Aϵ(n)
- 性质：
- 典型集的概率近似为 1
- 典型集中所有元素几乎是等概的
- 典型集的元素个数几乎等于 2 n H ( X ) 2^{nH(X)} 2nH(X)
联合典型序列（Jointly Typical Sequence, JTS）
- 联合典型序列
- ( X , Y ) ∼ p ( x , y ) (X,Y)\sim p(x,y) (X,Y)∼p(x,y)，随机序列对 ( x n , y n ) ∈ X n × Y n (x^n,y^n)\in\mathcal{X}^n\times\mathcal{Y}^n (xn,yn)∈Xn×Yn 且
- ∣ − 1 n log p ( x n ) − H ( X ) ∣ < ϵ |-\frac{1}{n}\log{p(x^n)}-H(X)|<\epsilon ∣−n1logp(xn)−H(X)∣<ϵ
- ∣ − 1 n log p ( y n ) − H ( Y ) ∣ < ϵ |-\frac{1}{n}\log{p(y^n)}-H(Y)|<\epsilon ∣−n1logp(yn)−H(Y)∣<ϵ
- ∣ − 1 n log p ( x n , y n ) − H ( X , Y ) ∣ < ϵ |-\frac{1}{n}\log{p(x^n,y^n)-H(X,Y)}|<\epsilon ∣−n1logp(xn,yn)−H(X,Y)∣<ϵ
- 其中 p ( x n , y n ) = ∏ i = 1 n p ( x i , y i ) p(x^n,y^n)=\prod_{i=1}^np(x_i,y_i) p(xn,yn)=∏i=1np(xi,yi)
- ( X , Y ) ∼ p ( x , y ) (X,Y)\sim p(x,y) (X,Y)∼p(x,y)，随机序列对 ( x n , y n ) ∈ X n × Y n (x^n,y^n)\in\mathcal{X}^n\times\mathcal{Y}^n (xn,yn)∈Xn×Yn 且
- 联合典型集
- 联合典型序列构成的集合记为 A ϵ ( n ) A_\epsilon^{(n)} Aϵ(n)
联合渐进均分性（Joint AEP）
- ( X n , Y n ) ∼ p ( x n , y n ) = ∏ i = 1 n p ( x i , y i ) , i . i . d . (X^n,Y^n)\sim p(x^n,y^n)=\prod_{i=1}^np(x_i,y_i),i.i.d. (Xn,Yn)∼p(xn,yn)=∏i=1np(xi,yi),i.i.d.
- 当 n → ∞ n\to\infty n→∞ 时， P r { ( X n , Y n ) ∈ A ϵ ( n ) } → 1 \mathrm{Pr}\{(X^n,Y^n)\in A_\epsilon^{(n)}\}\to 1 Pr{(Xn,Yn)∈Aϵ(n)}→1
- ∣ A ϵ ( n ) ∣ ≤ 2 n ( H ( X , Y ) + ϵ ) , ∣ A ϵ ( n ) ∣ ≥ ( 1 − ϵ ) 2 n ( H ( X , Y ) − ϵ ) |A_\epsilon^{(n)}|\le 2^{n(H(X,Y)+\epsilon)},|A_\epsilon^{(n)}|\ge(1-\epsilon)2^{n(H(X,Y)-\epsilon)} ∣Aϵ(n)∣≤2n(H(X,Y)+ϵ),∣Aϵ(n)∣≥(1−ϵ)2n(H(X,Y)−ϵ)
- 如果 X ~ n \tilde{X}^n X~n 与 Y ~ n \tilde{Y}^n Y~n 独立且 ( X ~ n , Y ~ n ) ∼ p ( x n ) p ( y n ) (\tilde{X}^n,\tilde{Y}^n)\sim p(x^n)p(y^n) (X~n,Y~n)∼p(xn)p(yn)，则 P r { ( X ~ n , Y ~ n ) ∈ A ϵ ( n ) } ≤ 2 − n ( I ( X ; Y ) − 3 ϵ ) \mathrm{Pr}\{(\tilde{X}^n,\tilde{Y}^n)\in A_\epsilon^{(n)}\}\le 2^{-n(I(X;Y)-3\epsilon)} Pr{(X~n,Y~n)∈Aϵ(n)}≤2−n(I(X;Y)−3ϵ)，且对于充分大的 n n n，有 P r { ( X ~ n , Y ~ n ) ∈ A ϵ ( n ) } ≥ ( 1 − ϵ ) 2 − n ( I ( X ; Y ) + 3 ϵ ) \mathrm{Pr}\{(\tilde{X}^n,\tilde{Y}^n)\in A_\epsilon^{(n)}\}\ge(1-\epsilon)2^{-n(I(X;Y)+3\epsilon)} Pr{(X~n,Y~n)∈Aϵ(n)}≥(1−ϵ)2−n(I(X;Y)+3ϵ)
信道编码定理（Channel Coding Theorem, CCT）
- 信息论最重要的结论
- Shannon Theorem II (Noisy-channel coding theorem)
- 有噪信道可实现几乎无失真传输
- 该定理的结果与直观感觉正好相反
- 若信道有错误，如何能够完全纠正？
- 尤其是：纠正的过程本身也受错误的影响
- 基本思想：
- 允许任意小的非零错误概率存在
- 构造码列 C ( n ) , n → ∞ C^{(n)},n\to\infty C(n),n→∞，保证大数定律或 AEP 生效
- 计算随机码的平均错误概率，随机码=所有码的平均=存在至少一个满足要求的码，即由于随机码
表述：
正定理：对于离散无记忆信道（DMC），小于其容量 C C C 的所有码率是可达的，即对于任意 R < C R
逆定理：对于任意编码方案 ( 2 n R , n ) (2^{nR},n) (2nR,n)，若 λ ( n ) → 0 \lambda^{(n)}\to0 λ(n)→0，则必有 R ≤ C R\le C R≤C
证明正定理
- 已知：DMC, X , Y , p ( y ∣ x ) , X ∼ p ( x ) \mathcal{X},\mathcal{Y},p(y|x),X\sim p(x) X,Y,p(y∣x),X∼p(x)
- 编码：
- 设 p ( x ) p(x) p(x) 达到信道容量 C C C ，即 I ( X ; Y ) = C I(X;Y)=C I(X;Y)=C ，对于充分大的 n n n，根据 p ( x ) p(x) p(x) 独立生成 ( 2 n R , n ) (2^{nR},n) (2nR,n) 码 C ( n ) C^{(n)} C(n)
- ∀ x n ∈ C ( n ) , p ( x n ) = ∏ i = 1 n p ( x i ) \forall x^n\in C^{(n)},p(x^n)=\prod_{i=1}^np(x_i) ∀xn∈C(n),p(xn)=∏i=1np(xi)， C ( n ) C^{(n)} C(n) 有 2 n R 2^{nR} 2nR 个码字
- 设接收向量为 y n y^n yn ，则 p ( y n ∣ x n ) = ∏ i = 1 n p ( y i ∣ x i ) p(y^n|x^n)=\prod_{i=1}^np(y_i|x_i) p(yn∣xn)=∏i=1np(yi∣xi)
- 译码（前两种最优，第三种简单）：
- 最大后验概率（MAP）：选择 x ^ n ∈ C ( n ) \hat{x}^n\in C^{(n)} x^n∈C(n) 满足 p ( x ^ n ∣ y n ) p(\hat{x}^n|y^n) p(x^n∣yn) 最大。
- 最大似然（ML）：选择 x ^ n ∈ C ( n ) \hat{x}^n\in C^{(n)} x^n∈C(n) 满足 p ( y n ∣ x ^ n ) p(y^n|\hat{x}^n) p(yn∣x^n) 最大。
- 典型集译码：选择 x ^ n ∈ C ( n ) \hat{x}^n\in C^{(n)} x^n∈C(n) 满足 x ^ n \hat{x}^n x^n 与 y n y^n yn 联合典型。
- 若接收到的序列 y n y^n yn 存在唯一的发送序列 x ^ n \hat{x}^n x^n 与其具有联合典型性，则解码成功；
- 否则，解码错误，记为事件 E \mathcal{E} E
- 目标：将证明若 R < C R
R<C ，则 P r { E } → 0 \mathrm{Pr}\{\mathcal{E}\}\to0 Pr{E}→0- 若平均错误概率 → 0 \to0 →0 ，则 λ ( n ) → 0 \lambda^{(n)}\to0 λ(n)→0，从而 R R R 可达。
- 错误事件（两种情形）：
- 存在 x ^ n \hat{x}^n x^n 与 y n y^n yn 联合典型， x n x^n xn 与 y n y^n yn 联合典型，但 x ^ n ≠ x n \hat{x}^n \neq x^n x^n=xn
- x n x^n xn 和 y n y^n yn 非联合典型
- 错误概率：
- 记 x n ( i ) x^n(i) xn(i) 为第 i i i 个码字， i = 1 , . . . , M , M = 2 n R i=1,...,M,M=2^{nR} i=1,...,M,M=2nR ，假设发送 x n ( 1 ) x^n(1) xn(1)
- 令 E i ≜ { ( x n ( i ) , y n ) ∈ A ϵ ( n ) } E_i\triangleq\{(x^n(i),y^n)\in A_\epsilon^{(n)}\} Ei≜{(xn(i),yn)∈Aϵ(n)}
- 则
λ 1 = P r { E ∣ x n ( 1 ) } = P r { E ˉ 1 ∪ E 2 ∪ . . . ∪ E M } ≤ P r { E ˉ 1 } + ∑ i = 2 M P r { E i } ≤ ϵ + ( M − 1 ) 2 − n [ I ( X ; Y ) − 3 ϵ ] ≤ ϵ + 2 3 n ϵ ⋅ 2 − n ( C − R ) ≤ 2 ϵ \begin{aligned} \lambda_1&=\mathrm{Pr}\{\mathcal{E}|x^n(1)\}=\mathrm{Pr}\{\bar{E}_1\cup E_2\cup...\cup E_M\}\\ &\le \mathrm{Pr}\{\bar{E}_1\}+\sum_{i=2}^M\mathrm{Pr}\{E_i\}\\ &\le\epsilon+(M-1)2^{-n[I(X;Y)-3\epsilon]}\\ &\le\epsilon+2^{3n\epsilon}\cdot 2^{-n(C-R)} \\ &\le 2\epsilon \end{aligned} λ1=Pr{E∣xn(1)}=Pr{Eˉ1∪E2∪...∪EM}≤Pr{Eˉ1}+i=2∑MPr{Ei}≤ϵ+(M−1)2−n[I(X;Y)−3ϵ]≤ϵ+23nϵ⋅2−n(C−R)≤2ϵ
由对称性 λ i = λ 1 ≤ 2 ϵ ⟹ P e ( n ) = P r { E } ≤ 2 ϵ \lambda_i=\lambda_1\le2\epsilon\implies P_e^{(n)}=\mathrm{Pr}\{\mathcal{E}\}\le2\epsilon λi=λ1≤2ϵ⟹Pe(n)=Pr{E}≤2ϵ
- 码率的可达性
- C ( n ) C^{(n)} C(n) 是按照 p ( x ) p(x) p(x) 随机生成的 ( M , n ) (M,n) (M,n) 码，译码错误概率记为 P e ( n ) P_e^{(n)} Pe(n)
- C ( n ) C^{(n)} C(n) 为所有服从 p ( x ) p(x) p(x) 的 ( M , n ) (M,n) (M,n) 码的平均
- ∃ \exists ∃ 最优的 ( M , n ) (M,n) (M,n) 码 C ( n ) ∗ C^{(n)*} C(n)∗ ，使得 P r { C ( n ) 出 错 } ≤ 2 ϵ \mathrm{Pr}\{C^{(n)}出错\}\le2\epsilon Pr{C(n)出错}≤2ϵ
- 不妨设 λ 1 ∗ ≤ λ 2 ∗ ≤ . . . ≤ λ M ∗ \lambda_1^*\le\lambda_2^*\le...\le\lambda_M^* λ1∗≤λ2∗≤...≤λM∗，则 λ M / 2 ∗ ≤ 4 ϵ \lambda_{M/2}^*\le4\epsilon λM/2∗≤4ϵ
- 构造新码 C ~ ( n ) ∗ = { C ( n ) ∗ 错 误 概 率 最 小 的 一 半 码 字 } \tilde{C}^{(n)*}=\{C^{(n)*}错误概率最小的一半码字\} C~(n)∗={C(n)∗错误概率最小的一半码字}
- 最大错误概率 λ ~ ( n ) ∗ ≤ 4 ϵ \tilde{\lambda}^{(n)*}\le4\epsilon λ~(n)∗≤4ϵ
- C ~ ( n ) ∗ \tilde{C}^{(n)*} C~(n)∗ 有 M 2 = 2 n R − 1 \frac{M}{2}=2^{nR-1} 2M=2nR−1 个码字，码率为 R ( 1 − 1 n ) R(1-\frac{1}{n}) R(1−n1)
- 当 n → ∞ n\to\infty n→∞ 时， C ~ ( n ) ∗ \tilde{C}^{(n)*} C~(n)∗ 满足 R ( 1 − 1 n ) → R R(1-\frac{1}{n})\to R R(1−n1)→R 且 λ ~ ( n ) ∗ → 0 \tilde{\lambda}^{(n)*}\to0 λ~(n)∗→0
- 因此 R R R 可达
证明逆定理
需证明：
∀ \forall ∀ 可达速率 R R R ，有 R ≤ C R\le C R≤C ⟺ \iff ⟺ ∀ R > C \forall R>C ∀R>C， R R R 不可达，即 P e ( n ) ↛ 0 P_e^{(n)}\not\to0 Pe(n)→0
5.4 典型信道编码
5.5 信源信道联合编码定理
