Channel combining and splitting for cutoff rate improvement

摘要：离散无记忆信道（DMC）的截止速率R0（W）通常与信道容量C（W）一起作为一个有价值的数字。给定的一个信道可能包含两个相关子信道，容量函数总是满足，也有，MASSY在研究一种以M'ary擦除信道为模型的光学调制系统时注意到，截止速率可以通过信道分裂来创建。研究表明，采用信道组合和分割的方法，可以获得一般DMC相似的截止速率增益。

介绍：

X是输入，Y是输出，转移概率为W(y|x)，Q是X的概率分布，定义函数

其中，

其中，随机编码指数是

Gallager定理表明，最大似然解码（ML）的解码错误在的代码块上的上限为。一个码块集成是每个码字的每个字母独立于分布Q选择的码块集成。Gallager表明指数Er（R,W）对于所有速率0。

Gallager定理中的平行信道理论表明，其中信道W1：和信道W2：是两个DMC，定义为，转移概率为：

对于所有的和。这个理论表明和。这是一个单字母化的结果，说明随机编码指数不能通过考虑从任意分布的Qn中选取的n信道输入块上的超符号组成的集合来证明。

Massey的例子：

在并行信道定理中，信道W1和W2的独立性至关重要，如果它们是相关的，那么等式可能会以任何一种方式失败。Massey利用这一事实在光通信系统中获得了编码优势，例子如下：

考虑QEC,，其中，，转移概率为：

，其中被称为擦除概率，一个QEC的W信道可以分为两个BEC（二进制擦除信道）：，在这个分解过程中，有一个过度可以分为两个过程和，转移概率可以代替为：

从擦除发生在两者或者两者都没有的意义上来说，这些BEC是完全相关的。Humblet给出了M'ary删除信道的随机编码指数为：

其中，是信道容量，是临界速率，是截止速率。图1展示了QEC和BEC的随机编码指数，从图中可以看出，真实速率R：，指数通过分裂而加倍：。而且，，QEC的容量不会因为分解成BEC而降低。

Massey没有直接编码QEC的信道W，而是建议对组件BEC的两个信道采用独立编码，忽略了两个信道之间的相关性。

接下来，考虑到在两个信道下的最大似然解码（ML），使用合集，其中Q'是统一的，，ML的复杂度和可靠性指数为和。

图2，对于所有的，从图中可以看出，Massey的方法显著地弥补了截止速率与QEC容量之间的差距。

本文将通过massey的例子来解决以下问题，是否可以以某种方式分割任何DMC，从而通过ML可靠性-复杂性权衡或截止频率的改进来实现编码的收益？如果是这样，这些收益的极限是什么？

我们在由三个要素组成的编码系统框架中解决了这些问题（1）信道联合（2）输入编号（3）信道分裂，在massey的例子中，没有信道合并，只有一个给定的信道被简单的分成子信道。然而，通常情况下，在分裂之前合并给定信道的多个副本是有利的，massey的示例中，通过完全分离子信道上的编码和解码任务，实现了信道的分割。在本文中，我们保持子信道的编码器是独立的，但允许连续的取消或多级类型的解码器，其中每个解码器按照预确定的顺序将其决定传递给下一个解码器。

本文的主要结果是演示了一些非常简单的技术，通过这些技术可以显著的提高BEC和BSC的截止频率。所提出的方法可以很容易的应用到更大的一类信道中。

信道的联合和分裂

为了寻求截止频率所测量的增益，我们将考虑形式的DMC，对于某个n>1的整数，将给定的DMC ，如图3所示，信道联合过程的一个重要元素是一个双射函数：，重新定义的输入，是由n个信道V组成的。结果信道是一个DMC ，例如，其中

。

我们将W看做一个n输入的多访问信道，其中每个输入由一个不同的用户独立编码，系统中的解码器是一种顺序取消式解码器，其中每个解码器将其决策反馈给下一个解码器，算法中只有一次传递。我们将这样的编码系统称为利用纠错码进行多级编码。

本文设计的多级编码系统是围绕信道W的随机码集成而设计的，由随机向量，其中是概率分布，。直观地说，ui对应于传输到的第i个输入随机变量。如果我们使用一个顺序解码器，每次解码一个子信道，在阶段之间应用连续抵消，和截止速率可以高达

其中，对于任意的随机变量

这个和截止频率将与普通截止频率进行比较，其中最大值超过所有，产生形式不是那么重要。如果大于编码增益将会实现。对于所有的双射函数f，都有，利用前面提到的平行通道定理，我们可以比较归一化和截止速率

其中用来看是否有增益。

上面描述的一般框架允许Pinsker的一种方法，该方法表明，如果将足够多的DMC副本组合在一起，则可以使截止速率任意接近信道容量。不幸的是，Pinsker方案的复杂度随着信道数量的增加呈指数级增长。虽然不实用。

就上述方法而言，平斯克的结果是令人放心的；而且，主要的问题变成了如何让理解当通道的总数增加时和截止速率提高的快慢。

BEC和BSC的例子：

本节的目的是通过两个例子说明abobe方法的有效性，其中仅通过组合给定信道的两个副本就可以显著提高截止频率。

例子2：(BEC)：，其中，消除概率为。考虑结合V的两个独立副本，通过标签映射得到通道，其中映射为：

其中是模二加。将输入变量指定为，其中属于{0，1}，然后，计算：

通过观察用户1的通道，可以给出这些截止速率的解释，，当消除概率为时，当信道发生擦除时x1和x2被擦除。另一方面，假设解码器2提供了正确的u1值，那么用户2看到的通道是一个带擦除概率为的BEC。只有当x1和x2都被擦除时才会发生擦除。该方案下的归一化和截止速率为：

这将与BEC的普通截止频率进行比较，这些截止频率如图5所示，如图所示，可以通过分析验证，上述方法提高了所有0

例子3：（BSC）：，，考虑交叉概率为，BSC的截止频率为：

其中，

我们使用如下映射关系来结合两个BSC信道：，输信号为：

其中属于{0，1}。截止速率和可以直接计算得到;然而，通过下面的论证得到它们是有指导意义的。通道W的输入和输出变量之间有关系：，其中e1和e2是相互独立的，0和1的概率分别是和。解码器能有效的看到信道，当BSC的交叉概率为，有截止频率为

解码器2看做是信道和从解码器1中收到的，其中等同于信道，其中阶数为2的BSC有着截止频率：

因此，该分割方案的归一化和截止速率为：

其中，对于所有的大于，如图6所示：

线性标号映射：

本节通过考虑输入映射的一般类型，以上一节使用的方法为基础。具体地说，我们考虑使用线性标号映射，其中F是一个大小为nxn的可逆矩阵。信道输出由y=x+e组成，其中e是信道噪声。在整个过程中，我们使用一个输入集合由i.i.d分量组成，每个分量取0或1的概率相等。在本节的其余部分中，我们给出了遵循这一思想的两种方法。

用给定标签的克罗内克幂

我们认为以下形式的线性映射其中，这是在例3中使用的线性映射。下列表是BSC在的误差概率。在相同的BSC下取截止速率和信道容量为

的方案有的子信道和信道组合输出的字符大小为，这个数字的快速增长使得计算的。

结束语

提出了一种基于信道联合和信道分裂提高给定DMC和截止速率的方法，虽然该方法已用于一些二进制输入信道，但它很容易适用于更广泛的信道类别。我们研究这个问题的出发点是基于提高序列解码的截止率，最显著的是Pinsker和Massey的作品。然而，我们提出的方法有许多与众所周知的编码调制技术相同的元素，即Imai和Hirakawa的多级编码方案和Ungerboeck的集切分思想，这与我们方法输入重新标记相对应。在这方面，我们应该引用Wachsmann等人的论文，该论文开发了使用和截止速率和随机编码指数作为优点的编码调制设计方法。

我们主要目的是探索将截止速率提高到接近信道容量的实际方案的存在。这一目标只实现了一部分。如果这是一个现实的目标，还需进一步的研究。