信息论——联合熵

Q：什么是联合熵？

联合熵就是度量一个联合分布的随机系统的不确定度，下面给出两个随机变量的联合熵的定义：
分布为 $p(x,y)$ 的一对随机变量 $(X,Y)$ ,其联合熵定义为：

$H(X,Y)=-{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(x,y)=E\left[\log \frac{1}{p(x,y)}\right]$

与信息熵一样也是一个数学期望

Q：联合熵的物理意义是什么？

联合熵的物理意义是:观察一个多个随机变量的随机系统获得的信息量。

为了进一步剖析联合熵，我们对其的进行数学推导如下：

$H(X,Y)=-{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(x,y)=-{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(x)p(y|x)$

$=-{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(x)-{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(y|x)$

$=-{\sum }_{x\in \mathcal{X}}^{}p(x)\log p(x)-{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(y|x)$

$=H(X)+H(Y|X)$

注： $-{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(x)$ 通过边缘化 $y$ 得到 $-{\sum }_{x\in \mathcal{X}}^{}p(x)\log p(x)$

其中，条件熵 $H(Y|X)$ 由 $-{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(y|x)$ 所定义，其物理意义就是，在得知某一确定信息的基础上获取另外一个信息时所获得的信息量。

继续讨论联合熵，对于式子 $H(X,Y)=H(X)+H(Y|X)$ 所表达的物理含义是，对一个两个随机变量的随机系统，我们可以先观察一个随机变量获取信息量，观察完后，我们可以在拥有这个信息量的基础上观察第二个随机变量的信息量。其那么先观察哪一个随机变量对信息量的获取有影响吗？利用概率论的知识，我们可以轻易得出：$H(X,Y)=H(Y)+H(X|Y)$。也就是说，先观察谁，对信息量都不会有影响，这是非常符合直觉的。

基于上述的讨论，我们不禁会问，如果有n个随机变量处于一个随机系统中，那么我们获取其联合熵也是无关观察先后吗？答案是肯定的。为了说明原因，我们给出熵的链式法则：

设随机变量 $X_1,X_2,\cdots ,X_n$ 服从 $p(x_1,x_2,\cdots ,x_n)$ ,则有：
$H(X_1,X_2,\cdots ,X_n)={\sum }_{i=1}^{n}H(X_i|X_{i-1},\cdots ,X_1)$
我们可以利用数学推导证明：

$H(X_1,X_2,\cdots ,X_n)=-{\sum }_{x_1,\cdots ,x_n\in {\mathcal{X}}^n}^{}p(x_1,\cdots ,x_n)\log p(x_1,\cdots ,x_n)=-{\sum }_{x_1,\cdots ,x_n\in {\mathcal{X}}^n}^{}p(x_1,\cdots ,x_n)\log p(x_1,\cdots ,x_{n-1})p(x_n|x_1,\cdots ,x_{n-1})=-{\sum }_{x_1,\cdots ,x_n\in {\mathcal{X}}^n}^{}p(x_1,\cdots ,x_n)\log p(x_1,\cdots ,x_{n-2})p(x_{n-1}|x_1,\cdots ,x_{n-2})p(x_n|x_1,\cdots ,x_{n-1})=-{\sum }_{x_1,\cdots ,x_n\in {\mathcal{X}}^n}^{}p(x_1,\cdots ,x_n)log{\prod }_{i=1}^{n}p(x_i|x_{i-1},\cdots ,x_1)=-{\sum }_{x_1,\cdots ,x_n\in {\mathcal{X}}^n}^{}p(x_1,\cdots ,x_n){\sum }_{i=1}^n\log p(x_i|x_{i-1},\cdots ,x_1)=-{\sum }_{i=1}^n{\sum }_{x_1,\cdots ,x_i\in {\mathcal{X}}^i}^{}p(x_1,\cdots ,x_i)\log p(x_i|x_{i-1},\cdots ,x_1)={\sum }_{i=1}^{n}H(X_i|X_{i-1},\cdots ,X_1)$

注： $-{\sum }_{i=1}^n{\sum }_{x_1,\cdots ,x_i\in {\mathcal{X}}^i}^{}p(x_1,\cdots ,x_i)\log p(x_i|x_{i-1},\cdots ,x_1)$ 这一步变换也是使用了边缘化。

从链式法则，我们可以更进一步得到，如果随机变量 $X_1,X_2,\cdots ,X_n$ 是独立的，那么联合熵则可以表示为：

$H(X_1,X_2,\cdots ,X_n)={\sum }_{i=1}^{n}H(X_i)$