转载-极化码系列（2）-极化码的编码原理

前言

在《Polar Code（1）概述》中建立了PolarCode初步印象，本文将详细阐述Polar Code的编码原理。Polar Code是通过引入信道极化的概念而建立的。信道极化分两个阶段，分别是信道联合和信道分裂。通过信道的联合和分裂，各个子信道的对称容量将呈现两极分化的趋势：随着码长$N$的增加，一部分子信道的容量趋于1，而其余子信道的容量趋于0。Polar Code正是利用这一信道极化现象，在容量趋于1的$K$个子信道上传输信息比特，在其余子信道上传输冻结比特（即收发双方已知的固定比特，通常设置为全零）。由此构成的信道编码即为Polar Code，码率为$\frac{K}{N}$。

预备知识

一个二进制输入离散无记忆信道（B-DMC）可表示为$W:X\to Y$，$X$是输入符号集合，$Y$是输出符号集合，转移概率为$W(y|x),x\in X,y\in Y$。由于信道是二进制输入，集合$X=\{0,1\};$$Y$和$W(Y|x)$是任意值。对信道$W$的$N$次使用后的信道可以表示为$W^N$，则信道$W^N:X^N\to Y^N$的转移概率为 $W^N(y_1^N|x_1^N)={\prod }_{i=1}^{N}W(y|x)$。
对于一个B-DMC信道$W$,有两个重要的参数：
对称容量（Symmetric Capacity）：
$$I(W)\triangleq \sum _{y\in Y}\sum _{x\in X}\frac{1}{2}W(y|x)log\frac{W(y|x)}{\frac{1}{2}W(y|0)+\frac{1}{2}W(y|1)}$$
巴氏参数（Bhattacharyya Parameter）:
$$Z(W)\triangleq \sum _{y\in Y}\sqrt{W(y|0)W(y|1)}$$
$I(W)$是对信道速率的度量，$Z(W)$是对信道可靠性的度量。$I(W)$是信道$W$等概率输入的情况下可靠传输时的最大速率。而$Z(W)$是信道$W$只传输0或1下最大似然判决错误概率的上限。
$I(W)$与$Z(W)$的取值范围均为$[0,1]$。由于对数以2为底，因此码率和信道容量的单位为bit。$I(W)$与$Z(W)$满足这样的关系：当且仅当$Z(W)\approx 0$时，$I(W)\approx 1$；当且仅当$Z(W)\approx 1$时，$I(W)\approx 0$。

二进制对称信道BEC和二进制删除信道BSC

当$W$为对称信道时，$I(W)等于香农容量$。所谓信道对称，既满足：对于任意$y\in Y$，有$W(y|0)=W(-y|1)$。
二进制对称信道（Binary Symmetric Channel，BSC）和二进制删除信道（Binary Erasure Channel，BEC）都是满足对称性的B-DMC。
具体的说，对于$Y=\{0,1\}$，满足$W(0|0)=W(1|1)$且$W(1|0)=W(0|1)$的B-DMC就是BSC。
对于$y\in Y$，满足$W(y|0)W(y|1)=0$或$W(y|0)=W(y|1)$的B-DMC为BEC。对于BEC，符号$y$称为删除符号（Erasure Symbol）。

基本的数学表示说明

行向量$(a_1,...,a_N)$在这里简写为$a_1^N$。对于给定的行向量$a_1^N$，其子向量表示为$a_i^j,1\le i,j\le N$，且$i\le j$。对于给定的$a_1^N$和$A\subset 1,...,N$，记$a_A$表示子向量$(a_i:i\in A)$。记$a_{1,o}^j$表示奇数索引的子向量$(a_k:1\le k\le j;k\in odd)$。记$a_{1,e}^j$表示偶数索引的子向量$(a_k:1\le k\le j;k\in even)$。
举个栗子：$a_1^5=(5,4,6,2,1)$，其中$a_2^4=(4,6,2)$，$a_{1,e}^5=(4,2)$，$a_{1,o}^5=(5,6,1)$，全零向量则记为$0_1^N$。
在此讨论的向量、矩阵的运算均是二元域上的运算，即$GF(2)$。记$\oplus$为模$2$加，记$\otimes$为$KroneckerPower$。
记$A^{\otimes n}$表示为A的n次$KroneckerPower$。A的n次$KroneckerPower$有递归表示$A^{\otimes n}=A\otimes A^{\otimes n-1}$，并且定义$A^{\otimes 0}\triangleq [1]$。
记$|A|$表示集合$A$中元素的个数，记$1_A$表示为集合A的指示函数。若$x\in A$，则$1_{A(x)}=1$，若$x\notin A$，则$1_{A(x)}=0$。

信道极化

信道极化分为两个阶段：信道联合（Channel Combining）和信道分裂（Channel Splitting）阶段。

信道联合

在这一阶段，联合B-DMC$W$的N个独立副本，通过递归的方式产生一个向量信道$W^N：X^N\to Y^N$,其中$N$为2的幂次$N=2^n,n\ge 0$。递归开始于第0级（$n=0$）,只使用$W$的1个副本，并定义$W_1\triangleq W$。第1级($n=1$)递归联合了两个两个独立的副本，如图1所示，得到向量信道$W_2:X^2\to Y^2$,其转移概率为：
$$W_2(y_1,y_2|u_1,u_2)=W(y_1|u_1\oplus u_2)W(y_2|u_2)$$

第二级（$n=2$）递归如图2所示，联合信道$W_2$的2个独立副本得到信道$W_4:X^4\to Y^4$，其转移概率为：
$$W^4(y_1^4|u_1^4)=W(y_1^2|u_1\oplus u_2,u_3\oplus u_4)W_2(y_3^4|u_2,u_4)$$

在图2中,$R_4$是完成从$(s_1,s_2,s_3,s_4)$到$v_1^4=(s_1,s_3,s_2,s_4)$的置换操作（排序）。从信道$W_4的输入W^4$的输入的映射$u_1^4\to x_1^4$可用公式表示为$x_1^4=u_1^4{G}_4$，$G_4=\left[\begin{array}{cccc}1& 0& 0& 0\\ 1& 0& 1& 0\\ 1& 1& 0& 0\\ 1& 1& 1& 1\end{array}\right]$。 因此$W_4$和$W^4$的转移概率有关系式$W_4(y_1^4|u_1^4)=W^4(y_1^4|u_1^4{G}_4)$。值得注意地是，这个所说的所有的加全部是模二加（$\oplus$）。
图3所示的是递归结构的一般形式。$W_{N/2}$的两个独立副本联合产生信道$W_N$。输入向量$u_1^N$进入信道$W_N$，首先被转换为$s_1^N:s_{2i-1}=u_{2i-1}\oplus u_{2i},1\le i\le N/2$。$R_N$表示比特反转排序操作，输入记为$s_1^N$，输出记为$v_1^N=(s^1,s^3,...,s^N-1,s^2,s^4,...,s^N)$。$v_1^N$则成为2个$W_{N/2}$独立副本输入。

映射$u_1^N\to v_1^N$是二元域$GF(2)$上的线性变换。$u_1^N\to x_1^N$是由复合信道$W_N$到原始信道$W^N$的输入映射，其映射也是线性变换。因此有$x_1^N=u_1^N{G}_N$。称$G_N$为N维生成矩阵。信道$W_N$和信道$W^N$的转移概率有如下关系：
$$W_N(y_1^N|u_1^N)=W^N(y_1^N|u_1^N{G}_N)$$
其中$y_1^N\in Y^N$，$u_1^N\in X^N$。

信道分裂

这是信道极化的第二阶段。将信道联合构成的复合信道$W_N$分裂成$N$个二进制输入的坐标信道（Coordinate Channels）$W_N^{(i)}:X\to Y^N\times X^{i-1}，1\le i\le N$，定义其转移概率为：
$$W_N^{(i)}(y_1^N,u_1^{i-1})\triangleq \sum _{u_{i+1}\in X^{N-i}}\frac{1}{2^{N-1}}{W}_N(y_1^N|u_1^N)$$
其中$(y_1^N,u_1^{i-1})$表示$W_N^{(i)}$的输入，而$u_i$表示$W_N^{(i)}$的输入。
奇序分裂子信道和偶序分裂子信道的转移概率由两个递归式可以得到。对任何$n\ge 0,N=2^n,1\le i\le N/2$，有：
$$W_N^{(2i-1)}(y_1^N,u_1^{2i-2}|u_{2i-1})=\sum _{u_{2i}}\frac{1}{2}{W}_{N/2}^{(i)}(y_1^{N/2},u_{1,o}^{2i-2}\oplus u_{1,e}^{2i-2}|u_{2i-1}\oplus u_{2i})\cdot W_{N/2}^{(i)}(y_{N/2+1}^N,u_{1,e}^{2i-2}|u_{2i})$$
$$W_N^{(2i)}(y_1^N,u_1^{2i-1}|u_{2i})=\frac{1}{2}{W}_{N/2}^{(i)}(y_1^{N/2},u_{1,o}^{2i-2}\oplus u_{1,e}^{2i-2}|u_{2i-1}\oplus u_{2i})\cdot W_{N/2}^{(i)}(y_{N/2+1}^N,u_{1,e}^{2i-2}|u_{2i})$$

信道极化定理

定理1：对于任意B-DMC$W$与任意 $\delta \in (0,1)$,当$N$以2的幂次趋近于无穷大时，极化信道 $W_N^{(i)}$中，满足 $I(W_N^{(i)})\in (1-\delta ,1]$的信道数占总的信道数$N$的比例趋于$I(W)$。
满足$I(W_N^{(i)})\in (0,\delta ]$的信道所占的比例趋于$1-I(W)$。
定理2：对于任意的B-DMC$W$，$I(W)>0$，且对于任意的$R<I(W)$，存在一个序列集合$A_N\subset 1,...,N,N\in 1,2,...,2^n,...$，对于所有的$i\in A_N$，有$|A_N|\ge NR$且$Z(W_N^{(i)})\le O(N^{-5/4})$。
标注：这两个定理在Arikan的论文的最后有详细的证明。

极化编码

利用极化现象构建的编码可以达到对称容量$I(W)$，称为极化编码（Polar Coding）。

极化编码的基本思想（基于线性分组码）

只在$Z(W_N^{(i)})$趋近于0的坐标信道$W_N^{(i)}$上发送信息比特。极化码具有一般的二元xianxing分组码的基本编码要素，因而可以显示地写出其生成矩阵来完成编码：
$$x_1^N=u_1^N{G}_N$$
其中$u_1^N$为原始比特序列，$x_1^N$为编码以后的比特序列，$G_N$为生成矩阵，码长为$N=2^n$。
极化码的编码步骤：
1.极化信道的可靠估计
2.比特混合
3.构造生成矩阵

极化信道可靠估计（巴氏参数）

对于BEC，Arikan给出的方法是计算巴氏参数
$$Z(W_N^{(i)})=\sum _{y_1^N\in Y^N}\sum _{u_1^{i-1}\in X^{i-1}}\sqrt{W_N^{(i)}(y_1^N,u_1^{i-1}|0)W_N^{(i)}(y_1^N,u_1^{i-1}|1)}$$
$Z(W_N^{(i)})$越小，相应的信道的对称容量也就越大；反之，$Z(W_N^{(i)})$说明该信道不可靠。
对于非BEC，如BSC信道或AWGNC，不能得到精确的巴氏参数，需要进行密度进化或高斯近似法估计信道的可靠性，详见《Polar Code（4）编码之极化信道可靠性估计》。

比特混合

在这一步的规则是：选择可靠性最大的$K$个分裂子信道传输信息比特，其他分裂子信道传输冻结比特。这一步的输出即为原始比特$u_1^N$。

构造生成矩阵

生成矩阵表示为
$$G_N=B_N{F}^{\otimes n}$$
其中$F^{\otimes n}$表示对矩阵$F=\left[\begin{array}{cc}1& 0\\ 1& 1\end{array}\right]$的$n$次克罗内克积，有递归式$F^{\otimes n}=F\otimes F^{\otimes (n-1)}$。$B_N$是排序矩阵，用于完成比特反序重排的操作。所谓的比特反序重排，就是将每个原序列的十进制序号$i\in \{1,2,...,N\}$按二进制表示为$(i-1)\to (b_n,b_n-1,...,b_1)$，其中$b_n$为最高有效位；再将该二进制序列反序，得到$\{b_1,b_2,...,b_n\}$。最后以$b_1$为最高有效位重新按十进制表示成$\{b_1,b_2,...,b_n\}\to (j-1)$，令输出序列的第$j$个元素取值为原序列的第$i$个元素。$B_N$的递归定义式为：
$$B_N=R_N(I_2\otimes B_{N/2})$$ 。
其中$I_2$为2维单位阵，$B_2=I_2$；矩阵$R_N$为置换矩阵，对输入序列完成奇序元素和偶序元素的分离，即先排奇序元素，再排偶序元素，其作用效果如下：
$$(u1,u2,u3,u4,...,uN)\times R_N=(u_1,u_3,u_5,...,u_{N-1},u_2,u_4,u_6,...,u_N)$$

总结

本节首先介绍了Polar Code的预备知识，如对称容量、巴氏参数以及所涉及的数学符号的表示。其次介绍了信道极化的两个阶段：信道联合和信道分裂。最后阐述了Polar Code的编码过程：通过构造生成矩阵$G_N$，通过计算各个分裂子信道的错误概率得出信道可靠度用以判断信息比特位置从而获得$u_1^N$；两者相乘得到$u_1^N{G}_N$即为Polar Code。

另外

极化码是一种线性分组码，通过构造生成矩阵而获得编码。只要给定码长$N$，编译码结构就唯一确定了。极化码基于信道极化做到了扬长避短。在最可靠的子信道上传输信息比特是扬长，在最不可靠的子信道的传输冻结比特是避短。

参考文献

[1] Arikan E. Channel Polarization: A Method for Constructing Capacity-Achieving Codes for Symmetric Binary-Input Memoryless Channels[J]. IEEE Transactions on Information Theory, 2008, 55(7):3051-3073.

最后

此CSDN上的基本为全文摘录，修改部分主要是基于自己的理解，仅供读者参考。
本文作者： Marshall
本文链接： https://marshallcomm.cn/2017/03/04/polar-code-2-encoding-principle/