信息论——信息熵

Q：信息是不是可以量化？

“2022年中国队不可能会拿世界杯冠军” 信息量小，相当于废话。“谁能拿2022年世界杯冠军”信息量大，因为不确定性大。信息量与信息的不确定性有关。

Q：不确定性与哪些因素有关？

1. 事件可能的结果数

讨论太阳从哪升起，只有一个结果，无论传递任何信息都是没有信息量的。当可能结果数量比较大时，得到新信息才有潜力拥有大信息量。

2. 概率分布

单看可能结果数量不够，还要看初始的概率分布。例如一开始我就知道小明在电影院的有15*15个座位的A厅看电影。小明可以坐的位置有225个，可能结果数量算多了。可是假如我们一开始就知道小明坐在第一排的最左边的可能是99%，坐其它位置的可能性微乎其微，那么在大多数情况下，你再告诉我小明的什么信息也没有多大用，因为我们几乎确定小明坐第一排的最左边了。

Q：如何度量不确定性？

1. 非负
2. 可加
3. 信息量跟概率有关系，信息量是连续依赖于概率的
4. 信息量大小跟可能结果数量有关。假如每一个可能的结果出现的概率一样，那么对于可能结果数量多的那个事件，新信息有更大的潜力具有更大的信息量，因为初始状态下不确定性更大

Q：那有什么函数能满足上面四个条件呢？

负的对数函数，也就是$-\log (x)$，底数取大于1的数保证这个函数是非负的就行。前面再随便乘个正常数也行。

a. 为什么不是正的？由于$x$是小于等于$1$的数，$\log (x)$就小于等于$0$了(满足1)
b. 假如$x$是一个概率，那么$\log (x)$是连续依赖于$x$的(满足3)
c. 假如有$n$个可能结果，那么出现任意一个的概率是$\frac{1}{n}$，而$-log(\frac{1}{n})$是$n$的增函数(满足4)
d. 由于$-log(xy)=-log(x)-log(y)$(满足2)

Q：什么是信息熵？

信息熵就是平均而言发生一个事件我们得到的信息量大小。所以数学上，信息熵其实是信息量的期望。

$H=-\sum _{x\in U}P(x)\log P(x)$

Q：熵的链式法则是什么？

$H(X,Y)=H(X)+H(Y|X)$

证明：

$H(X,Y)=-{\sum }_{x,y}p(x,y)logp(x,y)=-{\sum }_{x,y}p(x,y)log(p(y|x)p(x))$
$H(X,Y)=-{\sum }_{x,y}p(x,y)logp(y|x)-{\sum }_{x,y}p(x,y)logp(x)$
$H(X,Y)=H(Y|X)-{\sum }_{x}logp(x){\sum }_{y}p(x,y)$
$H(X,Y)=H(Y|X)-{\sum }_{x}logp(x)p(x)=H(Y|X)+H(X)$

推广： $H(X,Y|Z)=H(X|Z)+H(Y|X,Z)$
注意：熵只依赖于随机变量的分布，与随机变量取值无关。

Q：熵有哪些性质？

a. 熵的非负性（即$H(X)>0$）

由熵的定义可知，$H(X)=-{\sum }_{x\in \mathcal{X}}^{}p(x)\log p(x)={\sum }_{x\in \mathcal{X}}^{}p(x)\log \frac{1}{p(x)}$。
由于 $p(x)\in (0,1)$ ，故 $\log \frac{1}{p(x)}>0$ ，从而 $H(X)>0$。

b. 条件减少性（即$H(X)\ge H(X|Y)$）

由互信息的定义得：$I(X;Y)=H(X)-H(X|Y)\ge 0\Rightarrow H(X)\ge H(X|Y)$
注意：这个式子是平均意义上成立的。当知道某个确切的事情 H(X|Y=y) 并不一定会减少信息量，有时候反而会增加信息量。例如，警察查案，如果获得了某个新的线索，却引出了更多的待解问题就带了新的信息量。

c. 熵的独立界 (即 $H(X_1,X_2,\cdots ,X_n)\le {\sum }_{i=1}^{n}H(X_i)$)

我们利用熵的链式法则有： $H(X_1,X_2,\cdots ,X_n)={\sum }_{i=1}^{n}H(X_i|X_{i-1},\cdots ,X_1)$
然后利用条件减少性即可得到结果。

d. 最值性

即当随机变量 X 服从均匀分布时候，熵取得最大值。
利用相对熵的非负性进行证明:
设 $u(x)=\frac{1}{|\mathcal{X}|}$ ，其中 $\left|\mathcal{X}\right|$ 表示为随机变量的取值集合的势（即集合的元素个数）
则对于任意的 $p(x)$ ,它们的相对熵为：
$D(p||u)={\sum }_{x\in \mathcal{X}}p(x)log\frac{p(x)}{u(x)}={\sum }_{x\in \mathcal{X}}p(x)\log p(x)-{\sum }_{x\in \mathcal{X}}p(x)log\frac{1}{|\mathcal{X}|}$
$=log\left|\mathcal{X}\right|{\sum }_{x\in \mathcal{X}}p(x)-\left(-{\sum }_{x\in \mathcal{X}}p(x)\log p(x)\right)=log\left|\mathcal{X}\right|-H(X)\ge 0$
从而有 $H(X)\le log\left|\mathcal{X}\right|$
熵的最值性，给我们的启示是，如果一个随机系统它是均匀分布的，那么要对其进行编码，则需要的编码长度最大。

e. 熵的凹性

设随机变量 $X_1,X_2$ 的取值来自于集合 $\mathcal{X}$ ,且它们的分布函数分别为 $p_1(x)$ 、 $p_2(x)$ ，对于随机变量 $\theta$ ，其分布为：
$\theta =\{\begin{array}{ll}1,& 概率为\lambda \\ 2,& 概率为1-\lambda \end{array}$
取随机变量$Z=X_{\theta }$，容易知道其分布为：
$Z=\lambda p_1(x)+(1-\lambda )p_2(x)$
利用熵的条件减少性有：
$H(Z)\ge H(Z|\theta )$
即$H(\lambda p_1+(1-\lambda )p_2)\ge \lambda H(p_1)+(1-\lambda )H\left(p_2\right)$
故证明了熵的凹性。由于熵有了凹性，故可以对熵函数进行优化。