信源的相关性和剩余度

信源的相关性是信源符号间的依赖程度的度量。

 

由于信源输出符号间的依赖关系也就是信源的相关性使信源的实际熵减小。信源输出符号间统计约束关系越长，信源的实际熵越小。当信源输出符号间彼此不存在依赖关系且为等概率分布时，信源的实际熵等于最大熵。

 

信源的剩余度（冗余度）是信源所含信息量与符号所能携带的最大信息量之间差别的度量。

 

信源的剩余度来自两个方面，一是信源符号间的相关性，相关程度越大，符号间的依赖关系越长，信源的实际熵越小，另一方面是信源符号分布的不均匀性使信源的实际熵越小。

 

为了更经济有效的传送信息，需要尽量压缩信源的剩余度，压缩剩余度的方法就是尽量减小符号间的相关性，并且尽可能的使信源符号等概率分布。

 

从提高信息传输效率的观点出发，人们总是希望尽量去掉剩余度。但是从提高抗干扰能力角度来看，却希望增加或保留信源的剩余度，因为剩余度大的消息抗干扰能力强。

 

信源编码是减少或消除信源的剩余度以提高信息的传输效率，而信道编码则通过增加冗余度来提高信息传输的抗干扰能力。 

实际的信源总是或多或少地存在冗余，往往不能直接满足高效率传输信息的要求。为了实现信息的高效率传输，需要对信源产生冗余的原因进行分析，在此基础上对信源进行针对性的改造，使信源原有的信息含量从效率不高的情形转变为较高或尽可能高的情形，做到单位时间或单位符号所传输的信息量尽可能大。

 

无噪声的平稳、离散、无记忆信源（即各元之间相互独立）有效编码的实质是使各元的规律均匀化。

 

有记忆信源内部存在关联，它的信息含量密度就会降低。这就是说，为了提高信息传输的效率，应当尽可能消除信源的相关性，把有记忆的信源改造为无记忆的信源，或把记忆强的信源化为记忆弱的信源。消除信源相关性的本质在于降低信源中的冗余。常用消除信源相关性的方法：“合并法”和“预测法”。

 

如果信源的符号序列中，只在相邻的少数几个符号之间有相关性，而相距较远的符号之间的相关性可以忽略不计，那么，这种信源称为弱记忆信源。在这种情况下，可以把具有较强相关性的邻近几个符号看成一个大符号。于是，这些大符号之间的相关性就变得很小了。实际上就是把原来的基本信源空间变换成了多重空间。多重空间的重数越高，这种大符号之间的相关性越小，最终可以获得相互独立的情况。这种方法称为合并法。

 

如果信源的符号序列之间存在较强的相关性联系，以至根据其中一部分符号能够以一定的准确性推测出其余的符号，这种信源就称为强记忆信源。在传递这样的信息时，那些可以被精确推断出来的符号就不必传送，从而可以节省时间，提高传输的效率。但是，大多数情况下，完全可以精确推断出来的情况是极少的，只能根据信源的统计相关性作近似的预测，这就是预测法。