熵及其性质

熵

熵的物理含义

• 熵为平均自信息

  • 回顾自信息的物理含义：事件发生前，事件的不确定性，事件发生后，获得的信息量的大小。
  • 熵： 信源平均意义熵不确定的大小。事件发生后，平均每个信源符号所携带的信息量

• 熵值大小反映了判断信源输出的难易程度。信源中每个消息平均提供的信息量有多大。

• 辨析I(a_i) 与 H(X)
  相同点：本质都是描述不确定性的大小

• 不同点：

I(a_i)	某一个具体事件的信息测度
H(X)	随机事件集合（如信源）的信息测度

联合熵

联合熵：联合即XY上，联合自信息的平均值。
$$H(XY)=E[I(a_i{b}_j)]=-\sum _{i=0}^q\sum _{j=0}^{s}P(a_i{b}_j)\log P(a_i{b}_j)$$

条件熵

联合集XY上，条件自信息的平均值定义为条件熵，即：
$$H(X|Y)=E\left[I(a_i|b_j)\right]=-\sum _{i=0}^q\sum _{j=0}^{s}P(a_i{b}_j)\log P(a_i|b_j)$$

嫡的意义(对通信系统)

• H(X):表示信源中每个符号的平均信息量(信源熵）
• H(Y):表示信宿中每个符号的平均信息量（信宿熵）
• H(X|Y):表示在输出端接收到Y的全部符号后，发送端X尚存的平均不确定性。这个对x尚存的不确定性是由于干扰引起的。信道疑义度(损失熵)
• H(Y|X):表示在已知x的全部符号后，对于输出Y尚存的平均不确定性。信道散布度(噪声熵)
• H(XY):表示整个信息传输系统的平均不确定性（联合熵）。

熵的性质

基本性质

• 非负性
  $$H(X)\ge 0$$
• 确定性
  $$H(1,0)=H(1,0,0)=\dots \dots =H(1,0\dots \dots ，0)$$
  确知信源熵为0
• 对称性
  $$H(P_1,P_2,\dots \dots ,P_q)=H(P_{i_1},P_{i_2},\dots \dots ,P_{i_q})$$
  $(i_p,\dots \dots ，i_q)$为（1-q）的任意排列
  • 熵表示信源的整体属性，
• 扩展性
  $$\underset{\epsilon \to 0}{\lim }H(p_1,p_2,\cdots ,p_q-\epsilon ,\epsilon )=H(p_1,p_2,\cdots ,p_q)$$
  极小概率事件对熵没有影响
• 熵的链式法则
  • 熵的强可加性
    • $H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)$
    • 物理含义：XY平均出现的不确定性可以等价的分解为先考察一个事件出现的不确定性，再考察另一个事件在前一个事件的条件下的不确定性。
  • 熵的可加性
    • 若X和Y统计独立，则H（XY） = H（Y）+H（X）
  • N维联合信源熵的链式法则
    $$H(X_1,X_2,\cdots ,X_N)=\sum _{i=1}^{N}H(X_i|X_{i-1},\cdots ,X_1)$$
• 熵的极值性（最大离散熵定理）
  $$H(P_1,P_2,\dots \dots ，P_q)\le logq,当且仅当P_1=P_2=\dots \dots =P_q=\frac{1}{q}$$信源具有最大熵
  • 信源中各事件出现的概率趋于均匀时，信源的平均不确定性最大（数据压缩的理论依据之一）
  • 提高信息的传输效率——信源输出的每个符号携带的信息量（熵）尽可能大。此为后续信源压缩编码奠定基础
  • 压缩编码：通过调整消息符号的概率分布，使得尽量等概率。
• 熵的上凸性
• 条件熵不大于无条件熵（条件作用使熵减小）
  $$H(X|Y)\le H（X）$$ 当且仅当X与Y相互独立时等号成立。
• 熵的独立界
  • 设$X_1,X_2,\cdots ,X_N$ 服从P($x_1,x_2,\cdots ,x_N$)，则$H(X_1,X_2,\cdots ,X_N)\le \sum _{i=1}^{N}H(X_i)$当且仅当$X_1,X_2,\cdots ,X_N$相互独立时取等号。

附录

概率论的一些相关公式

条件概率

在A发生的情况下，B发生的概率。可以理解为B在A中所占的比例

$$P(B\mid A)=\frac{P(AB)}{P(A)}$$

概率的乘法公式

$$\begin{array}{rl}P(AB)& =P(A)P(B\mid A),P(\mathrm{A})>0\\ & =P(B)P(A\mid B),P(B)>0\end{array}$$

• 推广到多个事件的乘法公式：
  当 $P\left(A_1{A}_2\cdots A_{n-1}\right)>0$ 时,有 $$P\left(A_1{A}_2\cdots A_n\right)=P\left(A_1\right)P\left(A_2\mid A_1\right)P\left(A_3\mid A_1{A}_2\right)\cdots P\left(A_n\mid A_1{A}_2\cdots A_{n-1}\right)$$

全概率公式

由因到果：考察每种情况下A发生的概率，计算A的概率

$$\begin{array}{l}P(A)={\sum }_{j=1}^{n}P\left(A{B}_j\right)={\sum }_{j=1}^{n}P\left(B_j\right)\cdot P\left(A\mid B_j\right)\end{array}$$

贝叶斯公式

由果到因：在事件A发生的条件下，考察每种情况出现的条件概率

$$P\left(B_i\mid A\right)=\frac{P\left(B_i\right)P\left(A\mid B_i\right)}{P(A)}=\frac{P\left(B_i\right)P\left(A\mid B_i\right)}{{\sum }_{j=1}^{n}P\left(B_j\right)P\left(A\mid B_j\right)}=\frac{p_i{q}_i}{{\sum }_{j=1}^n{p}_j{q}_j}$$