【计算机科学与技术】信息论笔记：合集

200804本篇是《信息论》的读书笔记，欢迎各位路过指正！今天十章全部更新完毕啦。

0.分章节目录

• 【计算机科学与技术】信息论笔记（1）：熵、相对熵与互信息
• 【计算机科学与技术】信息论笔记（2）： 渐近均分性
• 【计算机科学与技术】信息论笔记（3）：随机过程的熵率
• 【计算机科学与技术】信息论笔记（4）：数据压缩
• 【计算机科学与技术】 信息论笔记（5）：信道容量
• 【计算机科学与技术】信息论笔记（6）：微分熵
• 【计算机科学与技术】信息论笔记（7）：高斯信道
• 【计算机科学与技术】信息论笔记（8）：率失真理论
• 【计算机科学与技术】信息论笔记（9）：最大熵
• 【计算机科学与技术】信息论笔记（10）：通用信源编码

1. 熵、相对熵与互信息

1.1 绪论与概述

• 香农（C.E.Shannon） 于1948年发表论文 “通信的数学理论” 奠定了信息论的基础。

• 香农第一定理（无失真信源编码定理）：给出编码极限。

• 香农第二定理（有噪信道编码定理）：传输速率小于信道容量，则误码率可以任意小。

• 香农第三定理（保失真度准则下的有失真信源编码定理）：给定失真度，只要码字足够长，就可以使编码的失真度小于给定失真度。

1.2 熵

• 熵的定义：

$$H(X)=H\left(p_1,p_2,\cdots ,p_K\right)=-\sum _{n=1}^K{p}_n\log p_n$$

• 一元信源模型：

$$\left[\begin{array}{c}X\\ p(x)\end{array}\right]=\left[\begin{array}{cccc}{a}_1& a_2& \cdots & a_K\\ p\left(a_1\right)& p\left(a_2\right)& \cdots & p\left(a_K\right)\end{array}\right]$$

有$0\le p_n\le 1$，${\sum }_{n=1}^K{p}_n=1$。若$X\sim p(x)$，则随机变量$g(X)$的期望为$E[g(x)]=\sum g(x)p(x)$。随机变量$X$的熵可看为随机变量$log(1/p(X))$的数学期望，其中$p(x)$为$X$的概率密度函数。

• 熵函数应符合下面三条公理：（1）对称性：交换下标不影响熵值。（2）最大值：等概分布熵值最大。（3）若$p_K=p_{11}+...+p_{1i}$则两个分布有如下关系：

$$H\left(p_1,p_2,\cdots ,p_{K-1},p_{11},p_{12},\cdots ,p_{1l}\right)=H\left(p_1,p_2,\cdots ,p_k\right)+p_{k}H\left(\frac{p_{11}}{p_K},\frac{p_{12}}{p_K},\cdots ,\frac{p_{1i}}{p_K}\right)$$

• 熵的含义：（1）平均意义：熵是整个集合的统计特性。（2）信息熵：$H(X)$表示每个消息提供的平均信息量。（3）随机性：信息熵$H(X)$表征了变量X的随机性。

• 熵的链式法则：
  $$H\left(X_1,X_2,\cdots ,X_n\right)=\sum _{i=1}^{n}H\left(X_i\mid X_{i-1},\cdots ,X_1\right)$$

1.3 联合熵

• 二元信源模型：
  $$\left[\begin{array}{c}XY\\ p(XY)\end{array}\right]=\left[\begin{array}{ccccc}{a}_1{b}_1& a_1{b}_2& a_1{b}_3& \dots & a_k{b}_J\\ p\left(a_1,b_1\right)& p\left(a_1,b_2\right)& p\left(a_1,b_3\right)& \dots & p\left(a_K,b_J\right)\end{array}\right]$$

其中${\sum }_{k=1}^K{\sum }_{j=1}^{J}p(a_k,b_j)=1$。

• 联合熵的定义：
  $$H(X,Y)=-\sum _{k=1}^K\sum _{j=1}^{J}p\left(a_k,b_j\right)\log p\left(a_k,b_j\right)=-E[\log p(X,Y)]$$

若独立，则联合熵等于单个随机变量熵之和；条件熵等于无条件熵（绝对熵）。

• 有等式

$$H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)$$

1.4 条件熵

• 条件熵的定义：

$$H(Y|X)=-\sum _{k=1}^K\sum _{j=1}^{J}p(a_k,b_j)\log p(b_j|a_k)$$

• 条件熵链式法则：

$$H(X,Y|Z)=H(X|Z)+H(Y|X,Z)$$

• 确定关系：若$X$与$Y$有确定的函数关系，且$X$可以完全确定$Y$（或$Y$完全确定$X$），则$H(Y|X)=H(X|Y)=0$。

• 条件熵不大于绝对熵是平均意义下的结论。

1.5 相对熵

• 相对熵（Kullback熵） ：两个随机分布之间距离的度量。
  $$D(p||q)=\sum _{k=1}^{K}p(a_k)\log \frac{p(a_k)}{q(a_k)}$$

• 条件相对熵：一对随机变量的两个联合分布之间的相对熵可以展开为相对熵和条件相对熵之和。

$$D(p(y\mid x)\Vert q(y\mid x))=\sum _{x}p(x)\sum _{y}p(y\mid x)\log \frac{p(y\mid x)}{q(y\mid x)}=E_{p(x,y)}\log \frac{p(Y\mid X)}{q(Y\mid X)}$$

• 相对熵的链式法则：
  $$D(p(x,y)\Vert q(x,y))=D(p(x)\Vert q(x))+D(p(y\mid x)\Vert q(y\mid x))$$

1.6 互信息

• 互信息的定义：
  $$I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=I(Y;X)$$
  也可以采用直接定义$X$与$Y$之间的互信息为
  $$I(X;Y)=\sum _{k=1}^K\sum _{j=1}^{J}p\left(a_k,b_j\right)\log \frac{p\left(a_k,b_j\right)}{p\left(a_k\right)p\left(b_j\right)}$$

• 熵与互信息的关系：互信息是随机变量之间相互依存度的度量信息。

• 单个互信息物理意义：$Y=b_j$下获得的$X=a_k$的信息量，互信息$I(X;Y)$为单个互信息的均值。

• 熵可由互信息导出。自信息的数学期望就是信息熵，$H(X)=E[I(a_k,a_k)]=E[H(a_k)]$。

• 条件互信息：给定随机变量$Z$时，由$Y$的信息而获得的关于$X$的信息
  $$I(X;Y\mid Z)=H(X\mid Z)-H(X\mid Y,Z)=\sum _{k=1}^K\sum _{j=1}^J\sum _{l=1}^{L}p\left(a_k,b_j,c_i\right)\log \frac{p\left(a_k,b_j\mid c_i\right)}{p\left(a_k\mid c_i\right)p\left(b_j\mid c_i\right)}$$

• 互信息的链式法则：
  $$I\left(X_1,X_2,\cdots ,X_n;Y\right)=\sum _{i=1}^{n}I\left(X_i;Y\mid X_{i-1},\cdots ,X_1\right)$$

1.7 Jensen不等式

• Jensen不等式：设函数$f(x)$是凸域$D$上的下凸函数，则对任意$a_m\in D$，$0\le {\lambda }_m\le 1,{\lambda }_1+...+{\lambda }_M=1$有
  $$f\left(\sum _{m=1}^M{\lambda }_m{\alpha }_m\right)\le \sum _{m=1}^M{\lambda }_{m}f\left({\alpha }_n\right)$$

• 信息不等式：两个概率密度函数为$p(x)$和$q(x)$之间的鉴别信息为$D(p||q)$，则：$D(p||q)\ge 0$，当且仅当对任意的$x$，$p(x)=q(x)$，等号成立。

• 推论：
  $$\begin{gathered} I(X;Y)\ge 0 \\ I(X;Y|Z)\ge 0 \\ D(p(y|x)||q(y|x))\ge 0 \end{gathered}$$
  $H(X)\le log|X|$，其中$|X|$表示$X$的字母表$X$中元素的个数，当且仅当$X$服从$X$上的均匀分布时，等号成立。

• 意义：在平均意义下，信源的不确定性减少。
  $$H(X)\ge H(X|Y)$$

• 熵的独立界：当且仅当$X_i$相互独立，等号成立。熵函数为上凸函数。
  $$H\left(X_1,X_2,\cdots ,X_n\right)\le \sum _{i=1}^{n}H\left(X_i\right)$$

• 定理：互信息为信源概率分布的上凸函数；互信息为信道矩阵的下凸函数。

1.8 对数和不等式

• 上面的等式中假设信源概率分布为$p:p(a_k)$。互信息由概率分布和条件概率矩阵确定。记为$Q:p(b_j|a_k)$。$Q$有时也称为信道转移概率矩阵。互信息可记为$I(p,Q)$。
• 对数和不等式：对于非负数$a_1,a_2,\dots ,a_n$和$b_1,b_2,\dots ,b_n$，当且仅当$\frac{a_i}{b_i}$为常数时，等号成立 。
  $$\sum _{i=1}^n{a}_i\log \frac{a_i}{b_i}\ge \left(\sum _{i=1}^n{a}_i\right)\log \left(\sum _{i=1}^n{a}_i/\sum _{i=1}^n{b}_i\right)$$
• 相对熵的下凸性：$D(p||q)$关于对$(p,q)$是下凸的。

1.9 数据处理不等式

• 数据处理不等式：数据处理都会损失信息。 若$X\to Y\to Z$构成Markov链，则
  $$I(X;Y)\ge I(X;Z)$$

• 费诺不等式：定义误差概率为$P_e=Pr\{\hat{X}\ne X\}$。则对任何满足$X\to Y\to \hat{X}$的估计量$\hat{X}$,有
  $$\begin{gathered} H\left(P_{\mathrm{e}}\right)+P_{\mathrm{e}}\log |\mathbf{X}|\ge H(X\mid \hat{X})\ge H(X\mid Y) \\ 1+P_{\mathrm{e}}\log |\mathbf{X}|\ge H(X\mid Y) \end{gathered}$$

• 意义：假定没有任何关于$Y$的知识，只能在毫无信息的情况下对$X$进行推测。 设$X\in \{1,2,\dots ,K\}$且$p_1\ge p_2\ge \dots \ge p_K$，则对$X$的最佳估计是 $\hat{X}=1$，而此时产生的误差概率为$P_e=1-p_1$。

• 误差概率与熵之间的不等式：设$X$和$X’$为两个独立同分布的随机变量，有相同的熵$H(X)$，那么$X=X^{\prime }$的概率为

$$\mathrm{Pr}\left(X=X^{\prime }\right)=\sum p^2(x)$$

2. 渐进均分性

2.1 渐进均分性定理

• 信息符号冗余度：冗余度高，符号携带的信息率低，易于压缩；

• 信源的冗余编码：提高单个信息符号所携带的信息量。

• 渐进等同分割性（Asymptotic Equipartition Property）结论：信源分布等概，信息熵最大。

• 定理2.1.1（渐进均分性）：设$X_1,X_2,...,X_n$ 是概率密度函数为p(x)的独立同分布(i.i.d)的随机变量，则
  $$-\frac{1}{n}\log p\left(X_1,X_2,\cdots ,X_n\right)\to H(X)$$

• 直观解释：当序列足够长时，一部分序列就显现出这样的性质：**序列中各个符号的出现频数非常接近于各自的出现概率，而这些序列的概率则趋近于相等，且它们的和非常接近于1，这些序列就称为典型序列。**其余的非典型序列的出现概率之和接近于零。

香农在1948年的《通信的数学理论》中注意到它并表述为一个定理。后来麦克米伦在1953年发表的《信息论的基本定理》一文中严格地证明了这一结果。

• 定义2.1.1（典型集）：设$X_1,X_2,...,X_n$ 是概率密度函数为$p(x)$的i.i.d随机序列，如果联合分布$p(x_1,x_2,\dots ,x_n)$满足下列条件：
  $$\left|\frac{\log p\left(x_1,x_2,\cdots ,x_n\right)}{n}+H(X)\right|\le \epsilon$$
  则称该源字母序列为典型序列（典型集），记为$A_{\epsilon }^{(n)}$。

• 直观意义：（1）给定特定的误差范围ε和序列长$n$，离散无记忆信源输出序列的集中程度；（2）若固定$\epsilon$ ，$n$越大，典型序列中元素个数越多；（3）若固定$n$， $\epsilon$越大，典型序列中元素个数越多；（4）典型序列中的序列趋于等概。

• 定理2.1.2（典型集性质）：（1）设$(x_1,x_2,...,x_n)\in A_{\epsilon }^{(n)}$则有：$H(X)-\epsilon \le -\frac{1}{n}\log p\left(x_1,x_2,\cdots ,x_n\right)\le H(X)+\epsilon$
  （2）.当$n$充分大时，$Pr\{A_{\epsilon }^{(n)}\}>1-\epsilon$。
  （3）.$|A_{\epsilon }^{(n)}|⩽2^{n(H(X)+\epsilon )}$。
  （4）.当$n$充分大时，$|A_{\epsilon }^{(n)}|⩾(1-\epsilon )2^{n(H(X)+\epsilon )}$

2.2 数据压缩

• 数据压缩：将集合元素按某种顺序（比如字典序）排列，指定下标可表示$A_{\epsilon }^{(n)}$中的每个序列。这需要$n(H+\epsilon )+1$个比特，编码前加0，共需$n(H+\epsilon )+2$个比特。对不属于$A_{\epsilon }^{(n)}$编码，比特数$n\log |X|+1$，编码前加1。

• 编码特点：一一映射，易于译码；第一个比特标明了编码长度；非典序列枚举扩大编码范围；典型序列编码长度为$nH$。分组编码作用：编码效率接近理想。

• 定理2.2.1（平均码长编码定理）：设$X^n$为服从$p(x)$的i.i.d序列，$\epsilon >0$，则存在一个编码将长度为$n$的序列$x_n$映射为比特串，使得其为一一映射，（因而可逆），且对于充分大的$n$，有
  $$E\left[\frac{1}{n}l\left(X^n\right)\right]\le H(X)+\epsilon$$
  于是平均意义上用$nH(X)$可以表示序列$X^n$。

2.3 高概率集与典型集

• 定义2.3.1（最小集）： 对每个$n=1，2，\dots$，设$B_{\delta }^{(n)}\subset X^n$ 为满足$Pr(B_{\delta }^{(n)})>1-\delta$的最小集。

• 定理2.3.1： 设$X_1,X_2,\dots ,X_n$为服从概率密度函数$p(x)$的i.i.d.随机变量序列。对$\delta <1/2$及任意$\delta >0$，如果$Pr(B_{\delta }^{(n)})>1-\delta$，则当$n$充分大时，
  $$\frac{1}{n}\log \left|{\mathbf{B}}_{\delta }^{(n)}\right|>H-{\delta }^{\prime }$$
  意义：即在一阶指数意义下， ${\mathbf{B}}_{{\delta }_n}^{(n)}$至少含有$2^{nH}$个元素。

• 定义2.3.2：记号$a_n\doteq b_n$表示${\lim }_{n\to \infty }\frac{1}{n}\log |\frac{b_n}{a_n}|=0$也就是在一阶指数意义下相等。

• 最小集性质：如果${\delta }_n\to 0$且${\epsilon }_n\to 0$则$\left|{\mathbf{B}}_{{\delta }_n}^{(n)}\right|\doteq \left|{\mathbf{A}}_{{\epsilon }_n}^{(n)}\right|\doteq 2^{nH}$

3. 随机过程的熵率

3.1 马尔科夫链

本章马尔可夫链基础知识略过。

• 本章内容表明：熵$H(X_1,X_2,\dots X_n)$随$n$以速率$H(\mathcal{X})$（渐近地）线性增加，这个速率称为熵率。

• 信源：

  • 离散无记忆信源（简单）：各符号之间相互独立，各个符号的出现概率是它自身的先验概率 。

  • 一般平稳信源（复杂）：联合密度函数与时间起点无关。

  • 马尔科夫信源：信源发出源字的概率，仅与当前源字及前有限个源字有关。

• 定义3.1.1 信源联合概率分布与时间起点无关：
  $$p\left(x_1,x_2,\cdots ,x_n\right)=p\left(x_{1+1},x_{2+1},\cdots ,x_{n+1}\right)$$
  则称该随机过程是平稳的。实际的信源短时间内是平稳的。本章主要研究时不变马尔科夫链。称$\{a_1,a_2,...,a_K\}$为源字X。$x_1{x}_2...x_n$为输出序列。输出概率由自身和前$l$个源码有关，$l$个源字组成的状态组成信源状态序列$s_1,s_2,...,s_m$。

• 相关概念：

  • 过渡态：能到达其它某一状态，但不能返回；

  • 吸收态：不能到达其它任何状态；

  • 常返：经有限步迟早要返回该状态；

  • 周期性：常返态中，$q_{ii}(n)$，仅当$n$能被某整数$d$整除时返回，周期性返回；

  • 非周期：所有$n$的最大公约数为1；

  • 遍历：非周期常返；

  • 闭集：子集内状态不能达到子集外；

  • 不可约：最小闭集。

• 定义3.1.2（各态历经信源）：各个状态都是遍历态（非周期常返）。

  • 各态历经判定：对任意两个状态$i$和$j$，如果存在正整数$n_0$，使所有$n_0$步转移概率$P_{ij}^{(n_0)}>0$则可知信源是各态历经的。

• 若概率矩阵$P$的$m$次幂$P^m$的所有元素皆为正，则该概率矩阵$P$称为正规概率矩阵。

3.2 熵率

• 定义3.2.1（熵率）：假设信源字母序列长度为$n$，并用$(X_1,X_2,\dots ,X_n)$表示，这是一个随机向量，该随机矢量的联合熵为：$H(X_1,X_2,...,X_n)$ 则每个源字母的平均熵为：$H_n(x)(X_1,X_2,...,X_n)/n$。其极限（若存在）称为该信源的熵率：
  $$H((X))=\underset{n\to \infty }{\lim }\frac{1}{n}{H}_n(x)(X_1,X_2,...,X_n)$$

• 定理3.2.1： 设$\{X_i\}$为平稳马式链，其平稳分布为$\mu$，转移概率矩阵为$P$，则其熵率为
  $$H(\mathcal{X})=-\sum _{ij}{\mu }_i{P}_{ij}\log P_{ij}=-\sum _{i=1}^N\sum _{j=1}^N{\mu }_i{P}_{ij}\log P_{ij}$$

• 引入变量$H^{\prime }(\mathcal{X})={\lim }_{n\to \infty }H(X_n|X_1,...,X_{n-1})$

• 定理3.2.2：平稳随机过程的熵率存在，且$H(\mathcal{X})=H^{\prime }(\mathcal{X})$

• 定理3.2.3： 平稳随机过程的$H(X_n|X_1,...,X_{n-1})$为单调递减序列。

• 定理3.2.4（Cesaro值）：若$a_n\to a$且$b_n=\frac{1}{n}{\sum }_{i=1}^n{a}_i$则$b_n\to a$。

3.3 马尔科夫链的函数

• 定理3.3.1 若$X_1,X_2,\dots ,X_n$构成平稳马尔可夫链，且$Y_i=\Phi (X_i)$，那么
  $$H\left(Y_{\mathrm{n}}\mid Y_{\mathrm{n}-1},\dots ,Y_1,X_1\right)\le H(\mathcal{Y})\le H\left(Y_{\mathrm{n}}\mid Y_{\mathrm{n}-1},\dots ,Y_1\right)$$
  且$\lim H\left(Y_{\mathrm{n}}\mid Y_{\mathrm{n}-1},\dots ,Y_1,X_1\right)=H(\mathcal{D})=\lim H\left(Y_{\mathrm{n}}\mid Y_{\mathrm{n}-1},\dots ,Y_1\right)$

• 定义3.3.1（隐马尔可夫模型） 考虑$X_i$的随机函数$Y_i$。由$X_1,X_2,\dots ,X_n$定义新过程$Y_1,Y_2,\dots ,Y_n$，其中每个$Y_i$服从$p(y_i|x_i)$，且条件独立于其他所有的$X_j$，$j\ne i$，即
  $$p\left(x^n,y^n\right)=p\left(x_1\right)\prod _{i=1}^{n-1}p\left(x_{i+1}\mid x_i\right)\prod _{i=1}^{n}p\left(y_i\mid x_i\right)$$
  这样的过程称为隐马尔可夫模型(HMM)。

4. 数据压缩

4.1 编码的基本概念

• 贝尔实验室的Shannon 和 MIT 的 Fano几乎同时提出了最早的对符号进行有效编码从而实现数据压缩的 Shannon-Fano 编码方法。
• 可以证明，算术编码得到的压缩效果可以最大地减小信息的冗余度，用最少量的符号精确表达原始信息内容。算术编码是部分匹配预测（PPM）技术的变体

• 定义4.1.1 关于随机变量$X$的信源编码$C$是从$X$的取值空间到$D^{\ast }$的一个映射，其中$D^{\ast }$表示字母表$D$上有限长度的字符串所构成的集合。用$C(x)$表示$x$的码字，并用$l(x)$表示$C(x)$的长度。

• 定义4.1.2 设随机变量$X\sim p(x)$，信源编码$C(x)$的期望长度为

$$L(c)=\sum _{x\in \mathcal{X}}p(x)l(x)$$

其中$l(x)$表示对应于$x$的码字长度。

• 定义4.1.3 如果编码将$X$的取值空间中的每个元素映射成$D^{\ast }$中不同的字符串，即$x\ne x^{\prime }\Rightarrow C(x)\ne C^{\prime }(x)$则称这个编码是非奇异的。

• 定义4.1.4 编码$C$的扩展$C^{\ast }$是从$X$上的有限长字符串到$D$上的有限长字符串的映射，定义为

$$C(x_1,x_2,...,x_n)=C(x_1)C(x_2)...C(x_n)$$

$C(x_i)$)表示相应码字的串联。

• 定义4.1.5 如果一个编码的扩展码是非奇异码，则称该编码是唯一可译的。信息序列与码字序列一一对应。

• 定义4.1.6 若码中无任何码字是其它码字的前缀，则称该码为前缀码。

• 每一码字传输完毕，即可译码，称为即时码。

4.2 Kraft不等式

• 定理4.2.1（Kraft不等式，前缀码存在定理） 含有$D$个码字的编码系统，当且仅当各个码字长度
  $l_1,l_2,...,l_m$满足Kraft不等式

$$\sum _{k=1}^m{D}^{-l_k}⩽1$$

时，存在前缀码。

• 定理4.2.2（推广Kraft不等式） 含有$D$个码字的编码系统，对任意构成前缀码的可数无限码字集，当且仅当个码字长度$l_1,l_2,...,l_{\infty }$满足Kraft不等式

$$\sum _{k=1}^m{D}^{-l_k}⩽1$$

时，存在前缀码。

4.3 最优码

• 定理4.3.1 随机变量$X$的任一$D$元即时码的期望长度必定大于或等于熵$H_D(X)$，即$L⩾H_D(X)$，当且仅当$p_i=D^{-l_i}$时等号成立。

• 定义4.3.1 对于某个$n$，如果概率分布的每一个概率值均等于$D^{-n}$，则称这个概率分布是$D$进制的。当且仅当$X$的分布是$D$进制的，上述定理等号成立。

• 定理4.3.2（最优码长的界） 设$l_1,l_2,\dots ,l_m$是关于信源分布$p$和一个$D$元字母表的一组最优码长，$L$为最优码的期望长度，则

$$H_D(X)⩽L⩽H_D(X)+1$$

• 设 $L_n$为每个输入字符的平均码长，即

$$L_n=\frac{1}{2}El(x_1,x_2,...,x_n)$$

有增加分组长度，可逼近最优编码。

• 定理4.3.3（平稳随机过程的编码界） 每字符最小期望码字长满足

$$\frac{H\left(X_1,X_2,\cdots ,X_n\right)}{n}\le L_n^{\ast }\le \frac{H\left(X_1,X_2,\cdots ,X_n\right)}{n}+\frac{1}{n}$$

进一步，若$X_1,X_2,\dots ,X_n$是平稳随机过程，有$L_n^{\ast }\to H(\mathcal{X})$。其中$ H(\mathcal{X})$为随机过程的熵率。

• 编码偏差：编码的分布与信源的真实分布存在偏差时，可用$D(p||q)$描述编码增加的复杂度。

• 定理4.3.4（偏码） 码字长度分配关于p(x)的期望满足$l(x)=-\lceil \log q(x)\rceil$关于p(x)的期望满足

$$H(p)+D(p||q)⩽E_{p}l(x)<H(p)+D(p||q)+1$$

• 结论：若真实分布为$p(x)$，而编码使用的分布为$q(x)$，则平均码长增加$D(p||q)$。

• 定理4.3.5 （唯一可译码的Kraft不等式） 含有$D$个码字的编码系统，其任意唯一可译码的平均码长满足Kraft不等式

$$\sum _{k=1}^m{D}^{-l_k}⩽1$$

反之，若给定满足上述不等式的一组码字长度，则可以构造出具有同样码字长度的唯一可译码。

4.4 Haffman编码

• 缩减信源：指由原信源缩减得到的信源：$K\to K-1$。其概率变化如下：

$$\left[\begin{array}{c}{X}^{\prime }\\ P^{\prime }(x)\end{array}\right]=\left[\begin{array}{ccccc}{a}_1& a_2& \cdots & a_{K-2}& a_{K-1}^{\prime }\\ p\left(a_1\right)& p\left(a_2\right)& \cdots & p\left(a_{K-2}\right)& p^{\prime }\left(a_{K-1}\right)\end{array}\right]$$

也就是有$p^{\prime }(a_{K-1})=p(a_{K-1})+p(a_K)$。

• 编码方法：设$C^{\prime }$为某信源经缩减后所得的最优前缀码，将$C^{\prime }$中由原信源中的两个最小概率的两个字母缩减得到的字母所对应的码字各加0和1，作为原信源的两个最小概率的源码的码字，而其余码字不变，则这样得到的码$C$为原信源的最优前缀码。

• 最小化$\sum p_i{l}_i$的哈夫曼算法对任意一组$p_i⩾0$都是成立的，而无需考虑$\sum p_i$的大小。此时，赫夫曼编码算法最小化的是码长加权和$\sum {\omega }_i{l}_i$ ，而非平均码长。

• 对于某个特定的字符，使用码长为$-\lceil \log q(x)\rceil$的编码（称为香农码）可能比最优码更差。

• 费诺编码：是次优编码，类似于切片码。先将概率值以递减次序排列，然后选取k使

$$\left|\sum _{i=1}^k\log p_i-\sum _{i=k+1}^m\log p_i\right|$$

达到最小值。

• 定理4.4.1 Huffman码是最优的，即如果$C$是Huffman码而$C^{\prime }$是其它码，则$L(C^{\ast })⩽L(C’)$。利用归纳法可以证明二元赫夫曼码是最优的。

4.5 算术编码

• 适合的场合： 小字母表、概率分布不均衡、建模与编码分开。

• 将源码序列的概率与$[0,1)$中的一个实数相对应，实数的二进制表示即为源码序列的算术码。

• 定理4.5.1（算术码的存在性） 定义$a_k$的修正累积概率$\bar{F}\left(a_k\right)={\sum }_{a_i>a_k}p\left(a_i\right)+p\left(a_k\right)/2$由修正概率可以推出源字母，而后将修正概率用二进制表示，取二进制小数后$l_K$位，使其能与$a_K$一一对应。可以证明，取$l_k=\lceil \log p{\left(a_k\right)}^{-1}\rceil +1$位即可唯一确定$a_k$；此时平均码长$\bar{l}<H(X)+2$。

• 性质：与Huffman相比二者的渐近性质相同。扩展的Huffman要求巨大数量的存储和编码$m^n$。增益为字母表大小和分布的函数。不均衡的分布更适合算术编码，很容易将算术编码扩展到多个编码器，很容易将算术编码适应到统计变化模型（自适应模型、上下文模型）

• 自适应算术编码：统计编码技术需要利用信源符号的概率，获得这个概率的过程称为建模。建模的方式包括静态建模和自适应动态建模。

• QM编码器：将输入符号(一个bit)分为大概率符号（More Probable Symbol，MPS）或小概率符号（Less Probable Symbol，LPS）在输入下一位之前，编码器先利用一个统计模型预测MPS是0还是1，然后再输入该位并按其实际值分类输出流为MPS或LPS的流，MPS和LPS的概率动态更新，为算术编码器所用。

5. 信道容量

• 信道描述：（1 ）输入容许字母集合及统计特征；（2）输出容许字母集合；（3）输入输出的转移概率分布
  • 离散信道：$\{X,p(y|x),Y\}$。如果输出概率仅依赖于输入符号，与以前的输入、输出均无关，这种信道称为无记忆信道。

5.1 基本概念

• 定义5.1.1：离散无记忆信道信道容量定义为$C={\max }_{p(x)}I(X;Y)$。将信道容量定义为信道的最高码率。在此码率下，信息能够以任意小的差错概率传输。（香农第二定理）

• 信道例子：无噪声二元信道、无重叠输出的有噪声信道、有噪声的打字机信道；

  • 二元对称信道（BSC）。该二元信道的输入字符以概率$p$互补。其信道容量为$C=1-H(p)$。
  • 二元删除信道（BEC）。该二元信道的输入字符以概率$\alpha$被删除。在接收端收到e，不能确定发送端比特。其信道容量为$C=1-\alpha$。

• 译码：$\hat{W}=g(Y^n)$猜测消息$W$。

• 定义5.1.2（离散信道）：用$(X,p(y|x),Y)$表示的离散信道由两个有限集$X$和$Y$以及一簇概率密度函数$p(y|x)$构成，其中对任意$x,y$有$p(y|x)⩾0$，以及对任意的$x$，有$\sum p(y|x)=1$而$x$和$y$分别看作信道的输入与输出。

• 定义5.1.3（扩展信道）： 离散无记忆信道（DMC）的$n$次扩展是指信道$(X^n,p(y^n|x^n),Y^n)$，其中$p(y_k|x^k,y^{k-1})=p(y_k|x_k)$。

• 定义5.1.4（编码）：信道$(X,p(y|x),Y)$的$(M,n)$码由以下部分构成：（1）下标集$\{1,2,\dots ,M\}$ ；（2）编码函数为$X^n:\{1,2,\dots ,M\}\to X^n$上的映射，生成码字$x_n(1),x_n(2),\dots ,x_n(M)$。码字集合称为码书；（3）译码函数$g:Y_n\to \{1,2,\dots ,M\}$。为一确定规则，对接收码字进行译码。

• 定义5.1.5（条件误差概率）： 设${\lambda }_i=Pr(g(Y^n)\ne i|X^n=x^n(i))$为已知下标$i$被发送的条件下的条件误差概率，其中$I(\cdot )$为示性函数。

• 最大误差概率定义为${\lambda }^{(n)}={\max }_{i\in \{1,2,...,M\}}{\lambda }_i$。

• 定义5.1.6（平均误差概率）：$P_e^{(n)}=\frac{1}{M}{\sum }_{i=1}^M{\lambda }_i$。

• 定义5.1.7 $(M,n)$的码率定义为$R=(\log M)/n$ 比特

• 定义5.1.8（可达）：如果存在一个$\left(\lceil 2^{nR}\rceil ,n\right)$码序列，满足$n\to \infty$时，最大误差概率$\lambda (n)\to 0$，则称码率$R$是可达的。

• 定义5.1.9（信道容量） ：所有可达码率的上确界。

• 简单推论：对于充分大的分组长度，小于信道容量的码率对应的误差概率可以任意小。

5.2 对称信道

• 对称信道的信道容量：设$r$表示转移矩阵的一行：$I(X;Y)=H(Y)-H(r)⩽\log |Y|-H(r)$.当$Y$等概分布时，等号成立。

• 定义5.2.1（对称信道）：如果信道转移矩阵$p(y|x)$的任何两行互相置换；任何两列也互相置换，那么称该信道是对称的。如果转移矩阵的每一行$p(\cdot |x)$都是其他每行的置换，而所有列的元素和$\sum p(y|x)$相等，则称这个信道是弱对称的。

• 定理7.2.1 对于弱对称信道，$C=\log |Y|-H(r)$。

• 信道容量的性质：
  a. $C⩾0$
  b. $C⩽\log |X|$
  c. $C⩽\log |Y|$
  d. $I(X;Y)$是$p(x)$的上凸函数，其最大值即为信道容量。

5.3 信道编码定理

• 联合典型：输入典型n长序列，有约$2^{nH(Y|X)}$ 个可能的Y序列与之对应，且所有序列等概。

• 定理5.3.1（信道编码定理，香农第二定理）：对于离散无记忆信道，小于信道容量$C$的所有码率都是可达的。具体来说，对任意码率$R<C$，存在一个$(2^{nR},n)$码序列，它的最大误差概率为${\lambda }^{(n)}\to 0$。反之，任何满足的${\lambda }^{(n)}\to 0$的码$(2^{nR},n)$序列必定有$R⩽C$。

5.4 联合典型序列

• 定义5.4.1： 服从分布$p(x,y)$的联合典型序列$\{(x^n,y^n)\}$所构成的集合$A_{\epsilon }^{(n)}$是指其经验熵与真实熵“$\epsilon$-*接近”的$n$长序列构成的集合，即

$$\begin{array}{l}{A}^{(n)}=\{\left(x^n,y^n\right)\in X^n\times Y^n:\\ \left|-\left(\log p\left(x^a\right)\right)/n-H(X)\right|<\epsilon \\ \left|-\left(\log p\left(y^n\right)\right)/n-H(Y)\right|<\epsilon \\ \left|-\left(\log p\left(x^n,y^n\right)\right)/n=H(X,Y)\right|<\epsilon \}\end{array}$$

• 定理5.4.1（联合AEP）： 设$(X^n,Y^n)$为服从$p(x^n,y^n)={\prod }_{i=1}^{n}p(x_i,y_i)$的i.i.d.的$n$长序列则
  1、当$n\to \infty$时，$Pr((X^n,Y^n)\in A_{\epsilon }^{(n)})\to 1$ 。
  2、 $|A_{\epsilon }^{(n)}|⩽2^{nH(X,Y)+\epsilon }$。
  3、如果 ${\tilde{X}}^n$与${\tilde{Y}}^n$ 是独立的，且与$p(x^n,y^n)$有相同的边缘分布，那么

$$\mathrm{Pr}\left(\left({\tilde{X}}^n,{\tilde{Y}}^{\ast n}\right)\in A_c^{(n)}\right)\le 2^{-n(I(X;Y)-3\epsilon )}$$

而且，对于充分大的$n$
$$\mathrm{Pr}\left(\left({\tilde{X}}^n,{\tilde{Y}}^n\right)\in A_e^{(n)}\right)\ge (1-\epsilon )2^{-n\left(I(X;Y)+3\epsilon \right)}$$

5.5 汉明码

• 汉明码是1950年由汉明首先构造， 用以纠正单个错误的线性分组码。

• 奇偶校验矩阵性质：矩阵$H$对任意码字$c$均有$H{c}^T=0$。

• 差错向量：设$e_i$是第$i$个位置为1其余位置为0的向量。

• 接收向量：若码字第$i$个位置出错，则接收到的向量为$r=c+e_i$。

• 校验： $H{r}^T=H(c+e_i)T=H{c}^T+H{e}_i^T=H{e}_i^T$可指示错误位置。

• 系统码：对于一般情形，将线性码进行修改，可以使得映射更加明显：让码字中的前$k$个比特代表消息，而后面$n-k$个比特留作奇偶校验位。这样得到的编码称作系统码。

• 卷积码：每个输出组不仅依赖于当前的输入组，而且依赖于过去的一些输入组。这种码的一个高级结构化的形式称作卷积码。

5.6 反馈容量

• 定义5.6.1 （反馈码）：$(2^{nR},n)$ 的一个映射序列$x_i(W,Y^{i-1})$和一个译码函数序列$g:Y^n\to \{1,2,\dots ,2^{nR}\}$，其中$x_i$ 是消息$W\in \{1,2,\dots ,2^{nR}\}$和先前接收到的值$Y_1,Y_2,\dots ,Y_{i-1}$的函数。

• 差错概率：$W$服从$\{1,2,\dots ,2^{nR}\}$均匀分布时，有
  $$P_e^{(n)}=Pr\{g(Y^n)\ne W\}$$

• 定义5.6.2 （反馈容量）：离散无记忆信道的反馈容量定义为反馈码可以达到的所有码率的上确界。

• 定理5.6.1（反馈容量）：信道反馈容量等于信道容量。
  $$C_{FB}=C=\underset{p(x)}{\max }I(X;Y)$$

• 定理5.6.2：采用联合信源信道编码与分离编码一样有效。

• 定理5.6.3（信源信道编码定理）：如果$V_1,V_2,\dots ,V_n$为有限字母表上满足AEP和$H(V)<C$的随机过程，则存在一个信源信道编码使得误差概率$Pr({\bar{V}}^n\ne V^n)\to 0$ 。反之，对任意平稳随机过程，如果$H(V)>C$，那么误差概率远离0，从而不可能以任意低的误差概率通过信道发送这个过程。能够通过信道传输平稳遍历信源当且仅当它的熵率小于信道容量。

6. 微分熵

6.1 定义

• 定义6.1.1 设$X$是一个随机变量，其累计分布函数为$F(x)=Pr(X⩽x)$ 。如果$F(x)$连续，则称该随机变量连续。另外，使$f(x)>0$ 的所有$x$构成的集合称为$X$的支撑集。

• 定义6.1.2(微分熵) 一个以$f(x)$为密度函数的连续型随机变量$X$的微分熵$h(X)$定义为

$$h(X)=-{\int }_{S}f(x)\log f(x)dx$$

其中$S$是这个随机变量的支撑集。离散的熵
$$H_{\Delta x}(X)=-\sum _{i=-\infty }^{\infty }f(x_i\Delta x)\log (f(x_i)\Delta x)$$

• 定义微分熵的目的：微分熵差具有信息度量的意义、连续信源的微分熵与离散信源的熵在形式上统一。

6.2 连续随机变量的AEP

• 定理 6.2.1 设$X_1,X_2,...,X_n$是概率密度函数为$p(x)$的i.i.d随机序列，那么下面的极限依概率收敛$-\frac{1}{n}\log p(X_1,X_2,...,X_n)\to h(X)$

• 定义6.2.1（体积） 集合$A\subset R^n$的体积$Vol(A)$定义为：$Vol(A)={\int }_{S}d{x}_{1}d{x}_2...d{x}_n$。

• 定理6.2.2典型集$A_{\epsilon }^{(n)}$有如下性质：
  a. 当$n$充分大时，$Pr\{A_{\epsilon }^{(n)}\}>1-\epsilon$；
  b. 对于所有$n$，$Vol(A_{\epsilon }^{(n)})⩽2^{n(h(X)+\epsilon )}$；
  c. 当$n$充分大时，$Vol(A_{\epsilon }^{(n)})⩾(1-\epsilon )2^{n(h(X)-\epsilon )}$。

• 定理8.2.3 在一阶指数意义下， 在所有概率$P⩾1-\epsilon$的集合中，$A_{\epsilon }^{(n)}$是体积最小者。

• 微分熵解释：熵就是拥有大部分概率的最小集的边长的对数值。因此， 较低的熵意味着随机变量被限于一个狭小的有效正方体内，而较高的熵意味着该随机变量是高度分散的。

6.3 微分熵与离散的关系

• 定理6.3.1 如果随机变量$X$的密度函数$f(x)$是黎曼可积的，那么
  $$H_{\Delta x}(X)+\log \Delta x\to h(f)=h(X),\Delta x\to 0$$

  于是，连续随机变量$X$经过$n$比特量化处理(分割的小区间长度$1/2^n$后的熵大约为$h(X)+n$。

6.4 联合微分熵与条件微分熵

• 定义6.4.1 (联合微分熵) 联合密度函数为$f(x_1,x_2,...,x_n)$的一组随机

变量$X_1,X_2,...,X_n$的联合微分熵定义为
$$h(X_1,X_2,...,X_n)=-\int f(x^n)\log f(x^n)d{x}^n$$

• 定义6.4.2 (条件微分熵) 联合密度函数为$f(x,y)$，条件微分熵定义为

$$h(X|Y)=-\int f(x,y)\log f(x|y)dxdy$$

• 定理6.4.1 (多元正态分布的熵) 设$X_1,X_2,...,X_n$服从均值为$\mu$，协方差矩阵为$K$的多元正态分布则

$$h(X_1,X_2,...,X_n)=h(N(\mu ,K))=\frac{1}{2}\log ((2\pi e{)}^n|K|)$$

6.5 相对熵与互信息

• 互信息的一般形式：

• 可从随机变量的值域的有限分割的角度来定义互信息。设$\chi$为随机变量$X$的值域，$\mathcal{P}$为$\chi$的一个分割是指存在有限个不相交的集合$P_i$使得${\bigcup }_i{P}_i=x$。$X$关于$P$的量化记为$[X{]}_{\mathcal{P}}$是定义如下的离散随机变量：
  $$Pr([X{]}_P=i)=Pr(X\in P_i)={\int }_{}$$