多用户信源编码

多用户信源编码，研究多个相关信源的编码的主要目的是压缩信息率。

若两个离散信源各发出符号U₁和U₂,它们的信息熵分别是H(U₁)和H(U₂),条件熵(以U₁为条件)是H(U₂|U₁)。当他们之间相关时，有H(U₂│U₁)<H(U₂)。单一信源编码定理证明,要分别传送这两个信源符号时,所需的信息率R₁和R₂必须分别大于 H(U₁)和H(U₂)。但在译码器已确知U₁的情况下，再从U₂中提取的信息应只有H(U₂│U₁)而不是H(U₂)，在这种情况下传送U₂的信息率R₂只须大于H(U₂│U₁)即可。当U₁和U₂两个信源不在同一地方,而U₁的样已为信宿所确知,但对U₂编码时却不确知U₁当时的样,那么只要信息率大于H(U₂│U₁),就能把U₂编码后传送给信宿，而使后者能正确译出U₂。这就是具有边信息的多用户信源编码定理。信宿已确知的U₁就称为对U₂译码的边信息。这可由容量大于H(U₁)的信道传送。 
　　要证明关于离散无记忆信源的这一定理，可以用典型序列的概念（见渐近等分性）。当信源符号数目 N足够大时,U₁组成的典型序列有个，对应每个U₁序列,U₂组成的典型序列有个，这些序列可排成A行B列的矩阵。对U₂编码时只须把这个序列在矩阵的列号编成码，于是所需的信息率就是

在译码时，因已知 U ₁序列的样，即已知在哪一行，就可根据列号从矩阵中找出被传送的那一个 U ₂序列。因此只要 U ₂是典型序列，便可以无错误地译码。已知  N→∞时，非典型序列出现的概率接近于零，因此有边信息时译码的差错概率也接近于零。 

多用户信源编码

　　再推广一步,可研究图中a的系统。两个相关信源 U ₁和 U ₂分别由两个编码器编码后用两条信道传送,在接收端同时收到两条信道的输出,为了正确译出 ₁和 ₂,对两条信道须传送的信息率 R ₁和 R ₂的要求是

R₁≥H(U₁|U₂)

R₂≥H(U₂|U₁)

R₁+R₂≥H(U₁U₂)

　　这三个不等式所对应的区域是图中 b所示的阴影部分。利用时分内插编码原理可以证明,只要( R ₁, R ₂)是在图中的阴影部分内,且符号长度 N足够长，总存在一种编码方法,使译码器能正确地译出 U ₁和 U ₂。因此两条信道的容量是允许调配的: R ₁大时, R ₂可小一些，反之亦然。 
　　另一类多用户信源问题是利用公用信道和私用信道问题。从两个相关信源 U ₁和 U ₂引出另一随机量 W,使在 W 已知条件下 U ₁和 U ₂相互独立。此时下列条件概率之间的关系成立

P(U₁,U₂|W )＝P₁(U₁|W )P₂(U₂|W )

满足上式的所有 W组成一个集 E。变更 W，使 U ₁和 U ₂作为一组对 W 的互信息 I( U ₁ U ₂； W)为最小,此最小值称为 U ₁和 U ₂之间的共信息 I ₀，即

当利用公用信道传送 W 时,传送 U ₁和 U ₂的私用信道的信息率 R ₁和 R ₂分别只须大于 H( U ₁│ W )和 H( U ₂│ W)。这种系统的特点是利用私用信道( R ₁)传来的信息和公用信道传来的 W 就能正确译出 U ₁，但很难译出 U ₂。因为在 W确知条件下， U ₁和 U ₂是相互独立的,也就是译出 U ₁后对 U ₂的解译毫无帮助，这可用于某些保密系统中。另一方面，利用公用信道中的边信息可降低对私用信道的要求。 
　　多用户信源编码是一种尚在发展的理论。对于允许失真的信源问题，也有一些研究结果，其他如有记忆信源以及理论的应用前景等问题，均尚在探索中。