信道极化:一种用于构造对称二进制输入无记忆信道的容量实现码的方法

论文原文为：《Channel polarization: A method for constructing capacity-achieving codes for symmetric binary-input memoryless channels》本文为其翻译。
作者为：Erdal Arıkan
本文参考了些此网站上的翻译：https://marshallcomm.cn/2017/03/04/polar-code-2-encoding-principle/

摘要

提出了一种称为信道极化的方法来构造达到任意给定二进制输入离散无记忆信道(B-DMC)$W$的对称容量$I(W)$的码序列。对称容量是使用具有相等概率的信道的输入字符可以达到的最高速率。信道极化是指可以从给定B-DMC $W$的$N$个独立副本中合成第二组$N$个二进制输入信道$\{W_N^{(i)}:1\le i\le N\}$，使得当$N$变大时，$W_N^{(i)}$接近1的索引$i$的分数接近$I(W)$，$W_N^{(i)}$接近0的索引$i$的分数接近$1-I(W)$。极化信道$\{W_N^{(i)}\}$对于信道编码是条件良好的：只需要通过容量接近1的通道以速率1发送数据，其余通道以速率0发送数据。基于此思想构造的代码称为极性代码。本文证明了，给定任意$I(W)>0$的B-DMCW和任意目标码率$R<I(W)$，存在一个极化码序列{CN；n≥1}，使得Cn的块长$N=2^n$，码率$\ge R$，在与码速率无关的情况下,逐次抵消译码下块差错概率有界为$Pe(N，R)\le O(N-14)$。这种性能可以通过编码器和解码器来实现，每个编码器和解码器的复杂度分别为$O(NlogN)$。

I.引言与概述

香农关于有噪的信道编码定理的一个令人着迷的证明是，他使用随机编码方法来显示容量实现代码序列的存在，而不给出任何特定的这种序列[1]。从那时起，构造具有低编码和解码复杂度的可证明容量的代码序列成为了一个遥不可及的目标。 本文是针对B-DMC类的这一目标的尝试。
在这一部分中，我们将对本文的主要观点和结果进行说明。 首先，我们给出了一些定义，并陈述了通篇使用的一些基本事实。

A.前期工作

一个二进制输入离散无记忆信道（B-DMC）可表示为$W：X\to Y$表示为具有输入字母X，输出字母Y和转移概率W（y | x），x∈X，y∈Y。由于信道是二进制输入，集合$X=0,1$；$Y$和$W(y|x)$是任意值。我们用$W^N$表示$N$次使用$W$时对应的信道。因此，$W^N:X^N\to Y^N$的转移概率为$W^N(y_1^N|x_1^N)={\prod }_{i=1}^{N}W(y_i|x_i)$。
在给定B-DMCW的情况下，本文主要关注两个信道参数：对称容量

和巴氏指标参数

这些参数分别被用作速率和可靠性的度量。$I(W)$是信道$W$在等概率输入下的进行可靠传输的最高速率，$Z(W)$是当W仅使用一次发送0或1时最大似然(ML)判决错误概率的上界。
很容易看到$Z(W)$取值于$[0,1]$。 自始至终，我们将使用以2为底的对数；因此，$I(W)$也将取值于$[0,1]$。 码率和信道容量的单位将是比特。
且仅当$Z(W)\approx 0$时，$I(W)\approx 1$；当且仅当$Z(W)\approx 1$时，$I(W)\approx 0$。附录中证明的以下界限可以使这一点更加精确。
命题1:对于任何B-DMCW，我们都有

当W是对称信道时，对称容量I(W)等于香农容量，即存在输出字母$Y$的置换$\pi$的信道，使得(I)${\pi }^{-1}=\pi$和(ii)$W(y|1)=W(\pi (y)|0)$对于所有y∈Y。二进制对称信道（Binary Symmetric Channel，BSC）和二进制删除信道（Binary Erasure Channel，BEC）都是满足对称性的B-DMC。具体地说，对于$Y=\{0,1\}$，满足$W(0|0)=W(1|1)$且$W(1|0)=W(0|1)$的B-DMC是为BSC。对于$y\in Y$，满足$W(y|0)W(y|1)=0$或$W(y|0)=W(y|1)$的B-DMC是为BEC。对于BEC，符号$y$称为删除符号（Erasure Symbol）所有删除符号上的总和$W(y|0)$称为BEC的删除概率。

我们用大写字母(如$X，Y$)表示随机变量(RVs)，用相应的小写字母(如$x，y$)表示它们的实现(样本值)。对于$X$ 是RV，$P_X$表示X上的概率分配，对于$RV(X，Y)$的联合集合，$P_{X，Y}$表示联合概率分配，我们用标准记号$I(X；Y)$，$I(X；Y|Z)$分别表示互信息及其条件形式。
行向量$(a1,\dots ,aN)$在这里简写为$a_1^N$。对于给定的行向量$a_1^N$，其子向量表示为$a_i^j$,$1\le i,j\le N$，且$i\le j$。如果$j<i$，$a_i^j$被视为无效。对于给定的$a_1^N$和$A\subset \{1,\dots ,N\}$，记$a_A$表示子向量$(a_i:i\in A)$。记$a_{1,o}^j$表示奇数索引的子向量
$(a_k:1\le k\le j;kodd)$，记$a_{1,e}^j$表示偶数索引的子向量$(a_k:1\le k\le j;keven)$。例如，对于向量$a_1^5=(5,4,6,2,1)$，有$a_2^4=(4,6,2)$，$a_{1,e}^5=(4,2)，a_{1,o}^4(5,6)$。全零向量则记为$0_1^N$。

本文中的码构造将在二进制域GF(2)上的向量空间中进行。 除非另有说明，否则所有的向量、矩阵和对它们的运算都将是GF(2)上的。

特别地，对于GF（2）上的$a_1^N$，$b_1^N$向量，我们写$a_1^N\oplus b_1^N$表示它们的分量mod-2和。$m\times n$矩阵$A=[A_{ij}]$和$r\times s$矩阵$B=[B_{ij}]$的Kronecker乘积定义为

这是一个mr-by-ns矩阵。 对于所有n≥1，克罗内克积$A^{\otimes n}$被定义为$A\otimes A^{\otimes (n-1)}$。 并定义$A^{\otimes 0}\triangleq [1]$的约定。
我们用$|A|$来表示集合$A$中元素的数目，我们用$1_A$来表示集合的指示函数；因此，如果$x\in A$，则$1_{A(x)}$等于1，否则为0。

B.信道极化

通道极化是一种操作，通过该操作，从给定B-DMC $W$的$N$个独立副本中制造第二组N个信道$\{W_N^{(i)}：1\le i\le N\}$，其显示极化效应的意义是，对称容量项$\{W_N^{(i)}\}$对于除索引$i$的消失部分之外的所有项都趋向于0或1。 该操作由信道合并阶段和信道分裂阶段组成。

1)信道合并：

此阶段以递归方式合并给定B-DMC W的副本，以产生向量通道