无速率码（入门七）OSD解码算法详解（Ordered Statistics Decoder）

1. OSD解码器归类

  Ordered Statistics Decoder（OSD）作为一种次优的 ML 译码的方法（次优指误块率比ML译码算法高，见图一，可操作性强、性能逼近 ML 译码并且在较低信噪比下可以通过增加译码阶数不断地提高性能，缺点在于低信噪比下的OSD 译码计算复杂度$O\left(K^l\right)$会随阶数$l$呈指数增长[2]。

图一：线性分组码在ML算法和OSD算法下的译码性能对比

  针对无速率码时，迭代译码更适用于长码，在短码下译码性能不佳，ML译码更适合短码[2，3]。

2. 1995原始OSD译码流程${}^{[1,2]}$

  统计学中的order statistics 是针对很多样本中的某一个特定随机变量来说的。比如从一个服从指数分布的总体中取一个样本集，其中包含$n$个互相独立的随机变量，这个样本中的每一个随机变量还是服从指数分布。顺序统计量是指限定第$i$个顺序统计量（order statistic）为该样本集合中第i小的元素，此时该随机变量的分布会因为$i$的变化被扭曲而偏离原来的分布。但当n比较大时，同时取多个样本集，每个样本集中的$i$阶统计量之间的差异都不会太大。
  对于一个码长序列，比特可靠性的排列可以近似为可靠性平均值的排列，OSD算法利用这一特性，改进了硬判决中的估计码字的生成过程。

2.1 基于可靠性的硬判决

  符号定义：

• 等效生成矩阵$\mathbf{G}$.
• 接受到的符号序列$\mathbf{r}=\left[r_1,r_2,\dots ,r_{N_r}\right]$.
• 接受符号经过两次调序后得到$\tilde{\mathbf{r}}$，$\tilde{\mathbf{r}}$再进行硬判决过程${\tilde{y}}_i=\{\begin{array}{l}0,{\tilde{r}}_i>0\\ 1,{\tilde{r}}_i\le 0\end{array}$，得到的序列为$\tilde{\mathbf{y}}=\left[y_1,y_2,\dots ,y_{N_r}\right]$
• 硬判决的置信度即符号值的绝对值${\alpha }_i=|r_i|$（仅限于BPSK调制）  硬判决思想：利用排序后$\tilde{\mathbf{\alpha }}$的前K位只包含少量错误信息位，在发送码字和接受码字之间最小化可能出错的bit数量。

Step1：在解码前先完成接受符号可靠性的降序排列：${\mathbf{\alpha }}^{\prime }={\Pi }_1(\mathbf{\alpha })$，其中${\Pi }_1$表示顺序置换操作。在通过符号的可靠性得到置换操作后，进行${\mathbf{G}}^{\prime }={\Pi }_1(\mathbf{G})$ 和${\mathbf{r}}^{\prime }={\Pi }_1(\mathbf{r})$

PS1：step1中没有考虑${\alpha }_i={\alpha }_j$的情况，因为$\mathbf{r}$是调制符号$\mathbf{x}$+$\mathbf{n}$，对于信道随机变量$\mathbf{n}$来说，出现相同数值的概率几乎为0.
PS2：针对该排序，可用归并排序或者快速排序算法（二分法排序），算法复杂度为$\mathcal{O}\left(N_r\log N_r\right)$

Step2：将${\mathbf{G}}^{\prime }$转化为系统矩阵$\mathbf{G}$，记录列置换顺序${\Pi }_2$。同样$\tilde{\mathbf{r}}={\Pi }_2\left({\mathbf{r}}^{\prime }\right),\tilde{\mathbf{\alpha }}={\Pi }_2\left({\mathbf{\alpha }}^{\prime }\right)$。

PS1：这里可分为两步，第一步是列操作进行前K列的独立处理，即从第二列开始判断是否和前面的列线性无关，如果无关则保留，如果有关则从K+1列判断是否线性无关，如果无关则置换到当前对应列，否则继续寻找K+2列。第二步是行变换得到系统矩阵。该过程复杂度为$\mathcal{O}\left(N_r\ast min\{K^2,(N_r-K{)}^2\}\right)$（$如果K＞N_r-K，就通过H矩阵去求系统矩阵，反之通过G矩阵去求系统矩阵$）
PS2：如果码率低于1/2，则为代码生成器矩阵，如果码率高于1/2，则为奇偶校验矩阵。

step3：硬判决先得到可靠序列${\tilde{\mathbf{y}}}_{1:K}=\left[y_1,y_2,\dots ，y_K\right]$，然后利用$\tilde{\mathbf{y}}={\tilde{\mathbf{y}}}_{1:K}\mathbf{G}$得到全部估计码字${\tilde{\mathbf{c}}}_{\mathrm{opt}}=\tilde{\mathbf{y}}$。

step4：最终估计码字为$\hat{\mathbf{c}}={\Pi }_1^{-1}\left({\Pi }_2^{-1}\left({\tilde{\mathbf{c}}}_{\mathrm{opt}}\right)\right)$

2.2 软判决的OSD译码

  原始OSD算法改进了硬判决方式，引入了再处理过程。所以step1、2、4不变，对step3进行更改。

图二：OSD算法流程图

  ML软判决译码算法的思想：排序后$\tilde{\mathbf{\alpha }}$的前K位只包含少量错误信息位，遍历$2^K$个可能的错误图样到硬判决值${\tilde{\mathbf{y}}}_{1:K}$上，然后生成$2^K$个估计码字，同两次置换后的接受序列$\tilde{\mathbf{r}}$置信度差异最小的估计码字就是需要输出的估计码字。本质是在发送码字与估计接受码字之间最小化平方欧氏距离。

图三：长度为K的测试错误图样的可能取值，Weight取值3中介绍

  OSD降低计算复杂度的思想：对于硬判决码字的前K个bit，其单个错误概率是随着位置索引值降低而降低的；对于考虑多bit连续错误的情况，组合的位数越多出错的概率越低——测试错误图样是存在优先级别的。所以减少不必要测试错误图样的生成，就能降低ML译码算法的复杂度——通过阶数限制多位bit错误的TEP的生成。

2.2.1 再处理过程

• 再处理对象：硬判决得到的完整序列$\tilde{\mathbf{y}}=\left[y_1,\dots ,y_K,y_{K+1},\dots ,y_N\right]$
• 再处理过程参数：$l,1\le l\le K$表示阶数

再处理过程：

对于$l,1\le i\le l$:
  第i阶段的再处理过程 改变硬判决可靠序列${\tilde{\mathbf{y}}}_{1:K}=\left[y_1,y_2,\dots ，y_K\right]$中的$i$个bit，然后重构对应的接受码字，并将其通过对应的调制方式调制，然后将该结果同排序后的接受码字$\tilde{\mathbf{r}}$计算其在向量空间中的欧式距离。并记录欧式距离最小的码字作为估计码字${\tilde{\mathbf{c}}}_{\mathrm{opt}}$。
所以在每个阶段需要遍历$\left(\begin{array}{c}K\\ i\end{array}\right)$个可能TEP，整个流程需要遍历${\sum }_{i=0}^l\left(\begin{array}{c}K\\ i\end{array}\right)$个TEP。

显然如果$l=K$就是最大似然译码的思路了。

  仿真表明：对于N小于等于64的高速短块码，$l=2$即可实现接近ML最佳性能的解码。块长继续增大时，至少需要$l=3$才能接近最佳性能。

2.2.2 停止准则（由于传统OSD算法中引入似然比定义可靠度改变了停止准则，该停止准则可跳过）

思想：在第i阶段，最后i个位置的可靠度之和大于某一迭代更新的可靠性阈值可视为解码成功。表征即使最后i个翻转了（图论中的图引入了对应的节点，与现存节点构成边相连），其边权重加上去也不会使得平方欧式距离增大。
  对于 $l$-OSD过程，如果存在$i<l$，有$$-\sum _{j=0}^i{\delta }_{K-j}(\tilde{\mathbf{y}})\ge R_{\mathrm{available}}(i+1)$$成立，那么该阶段可以停止再处理过程，并在记录位置修改$\tilde{\mathbf{y}}$，生成最大似然的解码结果。

定义（此处用不太上）：

• $\tilde{\mathbf{y}}$作为硬判决的结果，用上标$\alpha$表示改变了其中$i$个bit的位置索引，${\tilde{\mathbf{y}}}^{\alpha }$即重构后的估计码字。重构码字调制后位${\tilde{\mathbf{x}}}^{\alpha }=({\alpha }_1,{\alpha }_2,...,{\alpha }_N)$
• 欧式距离的平方$E=d^2({\tilde{\mathbf{x}}}^{\alpha },\tilde{\mathbf{r}})$
• ${\delta }_i\left({\tilde{\mathbf{y}}}^{\mathbf{\alpha }}\right)={\delta }_i\left({\tilde{\mathbf{x}}}^{\mathbf{\alpha }}\right)=1/4\left({\left(y_i-{\alpha }_i\right)}^2-{\left(y_i+{\alpha }_i\right)}^2\right)=-|y_i|$
• 可用资源$R_{\text{available }}(i)=\min \left\{R_i\left({\overline{\mathbf{x}}}_{\mathbf{S}}\right)-E\left({\overline{\mathbf{x}}}_{\mathbf{S}},{\overline{\mathbf{x}}}_{\mathbf{C}}\right),R_i\left({\overline{\mathbf{x}}}_{\mathbf{C}}\right)\right\}$。（用图论定义的阈值）其中$R_i\left({\overline{\mathbf{x}}}^{\mathbf{\alpha }}\right)={\sum }_{{\delta }_j\left({\overline{\mathbf{x}}}^{\mathbf{\alpha }}\right)\in D^{+}\left({\overline{\mathbf{x}}}^{\mathbf{\alpha }}\right)}{\delta }_j\left({\overline{\mathbf{x}}}^{\mathbf{\alpha }}\right)+{\sum }_{{\delta }_j\left({\overline{\mathbf{x}}}^{\mathbf{\alpha }}\right)\in D_R^{-}\left({\overline{\mathbf{x}}}^{\mathbf{\alpha }}\right)}{\delta }_j\left({\overline{\mathbf{x}}}^{\mathbf{\alpha }}\right)$，$E\left({\overline{\mathbf{x}}}^{\mathbf{\alpha }},{\overline{\mathbf{x}}}^{\mathbf{\beta }}\right)=1/4\left(d^2\left({\overline{\mathbf{x}}}^{\mathbf{\alpha }},\overline{\mathbf{z}}\right)-d^2\left({\overline{\mathbf{x}}}^{\mathbf{\beta }},\overline{\mathbf{z}}\right)\right)$

2.2.3 再处理算法复杂度

3. 2007传统OSD算法${}^{[4]}$

思路：由于OSD延身算法主要取决于可能的错误图样的排列和数量，[4]引入了迭代参考指标的重编码技术和自适应丢弃规则，前者简化了再处理中重编码过程，后者减少了平均重编码次数。[5]用TEP生成取代了OSD的结构化搜索，基于统计顺序特性引入了和信道SNR相关联的TEP的优先级权重，其思想是在两个不可靠的bit位进行再处理收益比在一个可靠的bit位进行再处理的收益更大。

2007传统OSD算法详解

---

原始OSD算法：

Step1：在解码前先完成接受符号可靠性的降序排列：${\mathbf{\alpha }}^{\prime }={\Pi }_1(\mathbf{\alpha })$，其中${\Pi }_1$表示顺序置换操作。在通过符号的可靠性得到置换操作后，进行${\mathbf{G}}^{\prime }={\Pi }_1(\mathbf{G})$ 和${\mathbf{r}}^{\prime }={\Pi }_1(\mathbf{r})$

Step2：将${\mathbf{G}}^{\prime }$转化为系统矩阵$\mathbf{G}$，记录列置换顺序${\Pi }_2$。同样$\tilde{\mathbf{r}}={\Pi }_2\left({\mathbf{r}}^{\prime }\right),\tilde{\mathbf{\alpha }}={\Pi }_2\left({\mathbf{\alpha }}^{\prime }\right)$。

step3：硬判决先得到可靠序列${\tilde{\mathbf{y}}}_{1:K}=\left[y_1,y_2,\dots ，y_K\right]$，然后再处理过程(对于$l,1\le i\le l$):
  第i阶段的再处理过程 改变硬判决可靠序列${\tilde{\mathbf{y}}}_{1:K}=\left[y_1,y_2,\dots ，y_K\right]$中的$i$个bit，然后重构对应的接受码字，并将其通过对应的调制方式调制，然后将该结果同排序后的接受码字$\tilde{\mathbf{r}}$计算其在向量空间中的欧式距离。并记录欧式距离最小的码字作为估计码字${\tilde{\mathbf{c}}}_{\mathrm{opt}}$。如果过程中第$i$阶段符合停止条件，提前输出估计码字。

传统OSD算法在此基础上可靠性变化，再处理过程变化

step4：最终估计码字为$\hat{\mathbf{c}}={\Pi }_1^{-1}\left({\Pi }_2^{-1}\left({\tilde{\mathbf{c}}}_{\mathrm{opt}}\right)\right)$

论文顺序：原始OSD→【6】→传统OSD

---

定义：$(N,K)线性分组码$

• 二元码字$\mathbf{c}=\left[\begin{array}{llll}{c}_1& c_2& \dots & c_N\end{array}\right]$，假设每个码字出现的概率相等，$\mathrm{Pr}(\mathbf{c})=2^{-K},\mathbf{c}\in \mathcal{C}$
• BPSK调制后的单位能量的双极性符号经过信道后接受为$\mathbf{r}=\left[\begin{array}{llll}{r}_1& r_2& \dots & r_N\end{array}\right]$，其中$r_i=BPSK（c_i）+n_i$
• 定义第i个bit位的似然比${\delta }_i\triangleq \ln \frac{\mathrm{Pr}\left(c_i=0\mid r_i\right)}{\mathrm{Pr}\left(c_i=1\mid r_i\right)}=4r_i/N_0$
• 接受符号的硬判决用$\mathbf{y}$表示

变化一：可靠性相较原始方案多了一个放缩：${\alpha }_i={\delta }_i=\ln \frac{\mathrm{Pr}\left(c_i=0\mid r_i\right)}{\mathrm{Pr}\left(c_i=1\mid r_i\right)}=4|r_i|/N_0$
  在原始OSD算法上采用bit似然值定义位可靠性，在计算可靠性后根据可靠性完成两次置换，使得${\tilde{\alpha }}_1\ge {\tilde{\alpha }}_2\ge \cdots \ge {\tilde{\alpha }}_K$ and ${\tilde{\alpha }}_{K+1}\ge {\tilde{\alpha }}_{K+2}\ge \cdots \ge {\tilde{\alpha }}_N$。

变化二：对于原始OSD中step2的实现用了贪婪算法（但看思路和原始OSD一模一样）

变化三：定义TEP的加权汉明距离$\mathcal{D}(\tilde{\alpha },\mathbf{e})\equiv \mathcal{D}(\mathbf{e})\triangleq {\sum }_{1\le \mathbf{i}\le \mathbf{N}，{\mathbf{c}}_{\mathbf{e},\mathbf{i}}\ne {\mathbf{y}}_{\mathbf{i}}}{\tilde{\alpha }}_{\mathbf{i}}$，且将其分解为TEP似然值和冗余WHD，$\mathcal{L}(\mathbf{e})\triangleq {\sum }_{1\le i\le K，e_i=1}{\tilde{\alpha }}_i,{\mathcal{D}}_R(\mathbf{e})\triangleq {\sum }_{K+1\le i\le N，{\bar{c}}_{\mathbf{e},i=1}}{\tilde{\alpha }}_i$。定义TEP后将0阶硬判决过程表示为：${\tilde{\mathbf{c}}}_0\triangleq {\tilde{\mathbf{y}}}_B\tilde{\mathbf{G}}=\left[\begin{array}{ll}{\tilde{\mathbf{y}}}_B& {\tilde{\mathbf{y}}}_B\tilde{\mathbf{P}}\end{array}\right]$，将再处理过程表示为${\tilde{\mathbf{c}}}_{\mathbf{e}}\triangleq \left({\tilde{\mathbf{y}}}_B\oplus \mathbf{e}\right)\tilde{\mathbf{G}}=\left[{\tilde{\mathbf{y}}}_B\oplus \mathbf{e}\left({\tilde{\mathbf{y}}}_B\oplus \mathbf{e}\right)\tilde{\mathbf{P}}\right]$

（原始OSD没有管TEP的WHD，而是在得到估计码字后计算平方欧式距离，用于衡量估计码字的准确度）

TEP的生成过程

变化四：TEP的生成，思想是将TEP按照似然值排序：$\mathcal{L}\left({\mathbf{e}}^{(0)}\right)\le \mathcal{L}\left({\mathbf{e}}^{(1)}\right)\le \mathcal{L}\left({\mathbf{e}}^{(2)}\right)\le \cdots \le \mathcal{L}\left({\mathbf{e}}^{\left(2^K-1\right)}\right)$（该排序通过$\mathcal{N}(\mathbf{e})\triangleq 2^{Kw(\mathbf{e})}{\sum }_{i=1}^K{2}^{-i}{e}_i$实现）。论文针对上述排序方式设计了TEP的迭代生成方案。

  对于$\mathcal{L}(\overline{\mathrm{e}})\ge {\mathcal{L}}^{\ast }$，将该TEP $\overline{\mathrm{e}}$丢弃，利用非零位置索引$\mathcal{I}(\mathbf{e})=[{\mathcal{I}}_1，{\mathcal{I}}_2，\cdots ，{\mathcal{I}}_{w(\mathbf{e})}]，{\mathcal{I}}_1>{\mathcal{I}}_2>\cdots >{\mathcal{I}}_{w(\mathbf{e})}$来定义新TEP的生成：

一般情况（一句话总结就是找关键位的索引值（依据关键位和生成公式得到的新的TEP一定是沿着TEP概率分布上升），TEP后置位可靠性比较低不叫关键位，即已经置1的不变（让它去修改MRB的对应位置），如第三个TEP的后两个1不变，对于非后置位的，找到连续的‘1’，最前面的一个1所在的位置就是关键位（如下面三个例子中画横线的1就是关键位置），然后根据下述索引计算式得到新的TEP中‘1’的位置索引。）：
TEP生成公式：
$\mathcal{I}=\left[K,K-1,\dots ,K-\kappa +2,{\overline{\mathcal{I}}}_{\kappa }-1,{\overline{\mathcal{I}}}_{\kappa +1},\dots ,{\overline{\mathcal{I}}}_{w(\overline{\mathbf{e}})}\right]$
$\kappa =\min \left\{k:{\overline{\mathcal{I}}}_{k+1}<{\overline{\mathcal{I}}}_k-1\right\}$

• 公式分析：
  -显然在一般情况下，有$1\le \kappa \le w(\overline{e})$
  -由$\mathcal{I}$得到当$\kappa =1$时，$K-\kappa +2=K+1$，同时$\kappa =w(\overline{e})$时，出现了${\overline{\mathcal{I}}}_{w(\overline{e})}-1$和${\overline{\mathcal{I}}}_{w(\overline{e})}$。文中没有说这两种情况怎么处理，但是根据算法中的case判断，前一种情况符合case1，就和下图的第二个例子一样，后一种情况仅保留${\overline{\mathcal{I}}}_{w(\overline{e})}-1$，否则增加会加一个权重

下述三个例子$\kappa 分别为3，2，5$，注意下面的$\kappa$是需要根据算法中的case1-4来判断是否还需要更新TEP然后继续迭代的，第一次得到的$\kappa$不一定符合case判断，经过四次判断会不断更新TEP和$\kappa$，下图只有TEP的最终生成结果

针对第一个，可以套公式得到（这个例子里面后置位两个0，没有1，然后前置位连着三个1，然后一个0，又一个1，公式就是将前置位最前面的那个1置0，然后将前一位的0置1）

特殊情况（特殊在关键位置会导致按照公式生成的TEP权重变大，即进入了TEP的下一阶的处理过程）：
$\mathcal{I}=\left[K,K-1,\dots ,K-\kappa +2,{\overline{\mathcal{I}}}_{\kappa }-1,{\overline{\mathcal{I}}}_{\kappa +1},\dots ,{\overline{\mathcal{I}}}_{w(\overline{\mathbf{e}})}\right]$
$\kappa =\min \left\{k:{\overline{\mathcal{I}}}_{k+1}<{\overline{\mathcal{I}}}_k-1,{\overline{\mathcal{I}}}_{k-1}<K-k+2\right\}$

举个例子$\kappa 分别为3$：

针对找不到关键位置的情况，即直接从$l$=3到$l$=4的，按照初始化的最后几位进行生成。

变化五：在此基础上使用1）自适应跳过规则消除不必要的TEP（同S-OSD），2）引入迭代参考指标简化重新编码操作。

1. 自适应TEP丢弃规则：对于TEP段${\mathbf{e}}^h$的估计下界来预估最可能的${\mathbf{e}}^{h\ast }$似然值$\mathcal{L}\left({\mathbf{e}}^{h\ast }\right)$（${\mathbf{e}}^{h\ast }$对应最小化WHD $\mathcal{D}(\cdot )$）。丢弃规则中$\mathcal{L}\left({\mathbf{e}}^h\right)\ge \mathcal{L}\left({\mathbf{e}}^{h\ast }\right)$的$\mathcal{L}\left({\mathbf{e}}^{h\ast }\right)$:
   $$\mathcal{L}\left({\mathbf{e}}^{h\ast }\right)=\frac{{\sum }_{i=1}^K{\tilde{\alpha }}_i}{{\sum }_{i=1}^K{\tilde{\alpha }}_i+\lambda {\sum }_{i=K+1}^N{\tilde{\alpha }}_i}\mathcal{D}\left({\mathbf{e}}^{h\ast }\right)$$丢弃规则确定在每个段中实现丢弃的似然阈值，并且阈值可以随信道条件自适应地改变。抛弃没有处理必要的TEP，可以显著降低复杂度。

2. 迭代过程：
   
   如下图中的经过case1-4处理后对应的TEP
   

另外一种TEP的生成思路:

[5] TEP生成算法思想：使用排列位的平均可靠性向量来生成最有可能的错误图样列表（在给定SNR下离线执行）

利用可靠性的CDF函数定义了平均可靠性，利用反转bit位的可靠性之和定义了一个错误图样的优先级。解码过程从根据可靠性的递增顺序排列接收位开始。对于每一个TEP计算其优先级，并将其放在列表中的适当位置，列表长度有限，如果生成的TEP超过列表长度，进行二分插入法，溢出低优先级的TEP。

[5] 中有一个TEP列表的排列操作用于生成TEP候选集，感觉思想和自适应阈值是一样的。但没像[4]一样指出阈值计算式，且操作的时间复杂度（会多引入二分插入排序）更高。

4. 参考文献：

[1] M. P. C. Fossorier and Shu Lin, “Soft-decision decoding of linear block codes based on ordered statistics,” in IEEE Transactions on Information Theory, vol. 41, no. 5, pp. 1379-1396, Sept. 1995, doi: 10.1109/18.412683.
[2] 李连琴.(2020).高可靠低时延喷泉码的分阶统计译码器研究(硕士学位论文,哈尔滨工业大学).https://kns.cnki.net/KCMS/detail/detail.aspx?dbname=CMFD202101&filename=1020399568.nh
[3] F. Lázaro, G. Liva, G. Bauch and E. Paolini, “Bounds on the Error Probability of Raptor Codes Under Maximum Likelihood Decoding,” in IEEE Transactions on Information Theory, vol. 67, no. 3, pp. 1537-1558, March 2021, doi: 10.1109/TIT.2020.3049061.
[4] Y. Wu and C. N. Hadjicostis, “Soft-Decision Decoding Using Ordered Recodings on the Most Reliable Basis,” in IEEE Transactions on Information Theory, vol. 53, no. 2, pp. 829-836, Feb. 2007, doi: 10.1109/TIT.2006.889699.
[5] A. Kabat, F. Guilloud and R. Pyndiah, “New Approach to Order Statistics Decoding of Long Linear Block Codes,” IEEE GLOBECOM 2007 - IEEE Global Telecommunications Conference, 2007, pp. 1467-1471, doi: 10.1109/GLOCOM.2007.282.
[6] D. Gazelle and J. Snyders, “Reliability-based code-search algorithms for maximum-likelihood decoding of block codes,” IEEE Trans. Inf. Theory, vol. 43, pp. 239–249, Jan. 1997.