信道相关基础知识

1、相关领域基础知识

1.1、似然函数

   统计学中，似然函数是一种关于统计模型参数的函数，表示模型参数中的似然性。给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：L(θ|x)=P(X=x|θ)。似然函数在推断统计学（Statistical inference）中扮演重要角色，如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。概率用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而似然性则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。

1.2、先验概率和后验概率

   先验概率一般是在缺乏某个事实的情况下描述一个变量（或事件）出现的概率。 而后验概率是在考虑了一个事实之后的条件概率，后验概率可以根据通过Bayes定理, 用先验概率密度乘上似然函数,接着进行归一化, 得到不定量X在Y=y的条件下的密度,即后验概率密度:

      $f_{X\mid Y=y}(x)=\frac{f_X(x)L_{X\mid Y=y}(x)}{{\int }_{-\infty }^{\infty }{f}_X(x)L_{X\mid Y=y}(x)dx}$

其中$f_X(x)$ 为X的先验密度, $L_{X|Y=y}(x)=f_{Y|X=x}(y)$ 为似然函数。

1.3、卷积

   卷积是在信号与线性系统的基础上或背景中出现的，脱离这个背景单独谈卷积是没有任何意义的，除了那个所谓褶反公式上的数学意义和积分（或求和，离散情况下）。信号与线性系统，讨论的就是信号经过一个线性系统以后发生的变化（就是输入 输出 和所经过的所谓系统，这三者之间的数学关系）。所谓线性系统的含义，就是，这个所谓的系统，带来的输出信号与输入信号的数学关系式之间是线性的运算关系。因此，实际上，都是要根据我们需要待处理的信号形式，来设计所谓的系统传递函数，那么这个系统的传递函数和输入信号，在数学上的形式就是所谓的卷积关系。卷积关系最重要的一种情况，就是在信号与线性系统或数字信号处理中的卷积定理。利用该定理，可以将时间域或空间域中的卷积运算等价为频率域的相乘运算，从而利用FFT等快速算法，实现有效的计算，节省运算代价。比如需求到位时间的到达率为poisson(λ)分布，需求的大小的分布函数为D（.)，则单位时间的需求量的分布函数为 F(x)：

      $F(x)={\sum }_{k=1}^{\infty }{D}^k(x)\frac{e^{-\lambda }{\lambda }^k}{k!}$

其中 D(k)(x)为k阶卷积。

   卷积是两个变量在某范围内相乘后求和的结果。如果卷积的变量是序列x(n)和h(n)，则卷积的结果为序列的卷积和：

      $y(n)={\sum }_{i=-\infty }^{\infty }x(i)h(n-i)=x(n)\ast h(n)$

其中星号表示卷积。当时序n=0时，序列h(-i)是h(i)的时序i取反的结果；时序取反使得h(i)以纵轴为中心翻转180度，所以这种相乘后求和的计算法称为卷积和，简称卷积。另外，n是使h(-i)位移的量，不同的n对应不同的卷积结果。
   如果卷积的变量是函数x(t)和h(t)，则卷积的计算变为
函数的卷积积分：

      $y(n)={\int }_{-\infty }^{\infty }x(p)h(t-p)dp=x(n)\ast h(n)$

其中p是积分变量，积分也是求和，t是使函数h(-p)位移的量，星号*表示卷积。简言之，就是某一时刻的状态量取决于所有时刻的作用效果以某种方式累积起来的结果。

2、信道相关基本概念

2.1、对称信道

   如果转移概率矩阵P的每一行都是第一行的置换（包含同样元素），则称改矩阵是输入对称的；如果转移概率矩阵P的每一列都是第一列的置换（包含同样元素），则称改矩阵是输出对称的；如果输入输出都对称，则称改信道为对称信道。
例如，$\left[\begin{array}{cccc}\frac{1}{3}& \frac{1}{3}& \frac{1}{6}& \frac{1}{6}\\ & & & \\ \frac{1}{6}& \frac{1}{6}& \frac{1}{3}& \frac{1}{3}\end{array}\right]$ 和 $\left[\begin{array}{ccc}\frac{1}{2}& \frac{1}{3}& \frac{1}{6}\\ & & \\ \frac{1}{6}& \frac{1}{2}& \frac{1}{3}\\ & & \\ \frac{1}{3}& \frac{1}{6}& \frac{1}{2}\end{array}\right]$ 都是对称的。

    由于对称信道转移概率矩阵中每行的元素都相同，所以 ${\sum }_j^{}p(b_j|a_i)logp(b_j|a_i)$ 的值与 i 无关，则条件熵

$H(Y|X)=-{\sum }_i^{}p(a_i)H(B|a_i)=-{\sum }_i^{}p(a_i){\sum }_j^{}p(b_j|a_i)logp(b_j|a_i)=-{\sum }_j^{}p(b_j|a_i)logp(b_j|a_i)=H(Y|a_i)$,$i=1,2,\cdots ,n$

与信道输入符号的概率分布$p(a_i)$无关。而信道容量为

$\begin{array}{ccccccccc}I=& max& I(X;Y)=& max& [H(X)-H(X|Y)]=& max& [H(Y)-H(Y|X)]=& max& [H(Y)-H(Y|X)]\\ & p(a_i)& & p(a_i)& & p(a_i)& & p(a_i)& \end{array}$

    由于信道输入符号等概率分布 $p(a_i)=\frac{1}{n}$，则由于转移概率矩阵的列对称，所以

$p(b_j)={\sum }_i^{}p(a_i)p(b_j|a_i)=\frac{1}{n}{\sum }_i^{}p(b_j|a_i)$

与 j 无关，即信道输出符号也等概率分布；反之，若信道输出符号等概率分布，对称信道的输入符号必定也是等概率分布的。因此要使 C 达到最大，只有信道输出符号等概率分布，此时的输入符号也等概率分布。因此对称离散信道的容量为

$C=logm-H(Y|a_i)=logm+{\sum }_{j=1}^m{p}_{ij}log{p}_{ij}$

式中，m为信道输出符号集中符号的数目。

   二进制对称信道（BSC）指的是输入集合为 {0,1} 并对于任意输出$y$满足转移概率 $W(y|0)=W(-y|1)$ 的信道。通俗来讲，交叉错误即发生 $1\to 0$ 错和 $0\to 1$ 错的概率近似相等，我们称这样的信道为二元对称信道(BSC)。

2.2、常见错误的基本概念

2.2.1、码元和码字

（1）码元
   在数字通信中常常用时间间隔相同的符号来表示一个二进制数字，这样的时间间隔内的信号称为(二进制）码元。 而这个间隔被称为码元长度。值得注意的是当码元的离散状态有大于2个时（如M大于2个） 时，此时码元为M进制码元，其中 $M=2^n$，即每个M进制码元需要n为二进制数来表示。

比如对于二进制码元，一个码元用1个二进制数来表示，0或者1，此时每个码元携带的信息量是1bit；
对于八进制码元，一个码元需要用3个二进制数来表示，如111，此时每个原码的信息量是3bit。

码元是承载信息量的基本信号单位，是调制的结果，一个码元也称为符号。 从文字编码意义上讲，码元指参与文字编码的键位符号代码；包括数字代码、字母代码、笔画代码、形符代码等，如手机键盘的阿拉伯数字和笔画，电脑键盘的拉丁字母。
   另一种说法是：在使用时间域（或简称为时域）的波形表示数字信号时，代表不同离散数值的基本波形就称为码元。某系统每秒钟传送2400个码元，则该系统的传码率为2400波特或2400B。但要注意，码元传输速率仅仅表征单位时间内传送码元的数目，而没有限定这时的码元是何种进制，因统一系统的各点上可能采用不同的进制，故给出码元速率时必须说明码元的进制和该速率在系统中的位置。

（2）码字
   码字（Code Word）是指利用Huffman（哈夫曼）码编码后的信号，即码字是信道编码的结果。
   一帧包含m个数据位（即报文）和r个冗余位（校验位）。帧的总长度=数据位+冗余位，包含数据和校验位的第X位单元通常成为X位码字（codeword）。码字由若干个码元组成，计算机通信中通信表现为若干位二进制代码。由于电子设备只能表示0、1两种状态，因此用电子方式处理符号是，需要对符号进行二进制编码。例如，在计算机中使用的ASCII码，就是计算机中常用符号的8位二进制编码，在实际中，也可以根据情况对字符进行特定的编码。

2.2.2、错误类型

   若用 $1\to 0$ 错表示码字中1变为0的错误；用 $0\to 1$ 错表示码字中0变为1的错误。那么对称错、非对称错和单向错的定义如下：

二元对称错：$1\to 0$ 错 和 $0\to 1$ 错可同时出现在一个码字中。

二元非对称错：$1\to 0$ 错 和 $0\to 1$ 错中仅仅一种类型出现于所有码字中，且错误类型是预先就知道的。

二元单向错：$1\to 0$ 错 和 $0\to 1$ 错两种都可能出现在码字中，但他们不能同时出现在同一码字中。

由上而定义可知，非对称错误类是单向错误类的子类，而单向错误类又是对称错误类的子类，因而任何一个可纠／检亡个对称错的码也可纠／检 $t$ 个单向错或t个非对称错，而任一个可纠／检t个单向错的码也可纠／检 $t$ 个非对称错．然而，反过来一般不成立。

2.2.3、二元码

   若用 $V_n$ 表示$F_2$={0，1}上所有n维向量组成的集合；我们称 $V_n$ 上含有M个向量的子集C为一个长度为n，码字个数为M的二元码，或者简记为二元(n，M)码。注意，二元码可以是0、1，也可以是1、2或者其他任意不同的两个值，而二进制码就只能是0、1。

参考文献：
卷积的物理意义
二元非对称信道的纠错编码