信息论学习

1. 自信息定义

$I(x)=-lo{g}_{n}P(x)$
注意：
若n = 2，叫做bit
若n = 3，叫做tet
若n = e，叫做nat
若n = 10，叫做hat

2. 熵

离散定义：

$$H(x)=E_x[I(x)]=-\sum _{i=1}^n[P(x_i)lo{g}_{n}P(x_i)]$$

连续定义：

$H(x)=E_x[I(x)]=-{\int }_{+\infty }^{-\infty }P(x)lo{g}_{n}P(x)dx$

注意：积分中是对x微分而不是P(x)

根据极限相关知识，可得：

$$\underset{P(x)\to 0}{\lim }-P(x)lo{g}_{n}P(x)=\underset{x\to 0}{\lim }\frac{lo{g}_{n}P(x)}{\frac{1}{-P(x)}}=\frac{1}{P(x)}P(x{)}^2=P(x)=0$$

同时，当P(x)= 1时，H(x) = 0。

另外，根绝高数知识，当熵的导数为0时，可求得熵的极值。
$$H^{\prime }(x)=-P(x)lo{g}_{n}P(x)=0$$
从上式可得：
（1）当熵的导数为0时，可取得P(x) = 1或者P(x) = 0，因此熵在该点处取得极值。
（2）此时，考察熵的导数在P(x) = 1 左右处的值。在P(x) = 1的左侧，导数大于0，在P(x) = 1的右侧，导数小于0，因此在P(x) = 1处函数取得最大值。
（3）熵的值总是大于0。由于P(x)代表x的概率，总是大于0小于1的，又 $-P(x)lo{g}_{n}P(x)=P(x)lo{g}_n\frac{1}{P(x)}$，根据log函数的特征，$lo{g}_n\frac{1}{P(x)}$也是大于0的，故熵的值必然大于0。

另外，还有几个重要的结论：
（1）当已知分布上下限时均匀分布的熵最大，当知道均值和方差时正态分布的熵最大。
（2）给定一串数据，其中数据元 x 出现的概率为p(x)，则最佳编码长度为$-lo{g}_{2}P(x)$，整段文本的平均编码长度为$-{\sum }_{i=1}^{n}P(x_i)lo{g}_{2}P(x_i)$，即底为2的熵。

参考链接：
https://zhuanlan.zhihu.com/p/309831227