什么是信息熵？

1948 年，伟大的信息论之父香农（Shannon）将热力学中熵的概念引入到了信息论中，提出了“信息熵”这一概念。

信息熵用于解决信息的量化问题，将原本模糊的信息概念进行计算得出精确的信息熵值，信息熵是描述消息中，不确定性的值。
理解起来需要一点耐心，可以先这么说，信息熵就是用来描述信息中不确定性的值，熵越低，不确定性越低，我们也就更容易得到确定的信息。

举个栗子，张三的女朋友小红又要过生日了，他现在挑选礼物有三个选择：口红、包、机械键盘。张三并不知道小红到底喜欢那种礼物，因此对于张三来说，小红喜欢口红、包、键盘的概率目前都是 1/3。也就是说不确定性是三种可能的选择，每一种概率都相等，这就是信息熵，它与信息对应，但是概念相反，信息可以用来消除不确定性，也就是消除熵，降低熵值。

为了送出更合适的礼物，张三需要一些信息来消除这些不确定性，通过打听得知，小红最近刚有只舔狗送了她一堆口红，所以小红短时间内不需要买口红了，那么不确定性消除了一个，此时可能性为包和键盘，概率都是1/2.

然后张三突然想起来小红经常在朋友圈卖包，既然卖包了就不需要再送了，因此这条信息可以消除掉送包这个可能性，键盘的概率为1.

信息熵也是有值的，可以计算的，信息熵用 bit（比特）为单位，计算公式如下，其中 P 是概率质量函数。

初始状态下，对于张三来说，小红喜欢这三个礼物的概率都是 1/3，所以此时 P(x) = 1/3，信息熵可以用如下公式计算：
H(x)=1/3log(3)+1/3log(3)+1/3*log(3)
=1.56
也就是说目前的信息熵是 1.56bit.

当小明知道小红目前不需要口红时的信息熵为：
H(x)=1/2log(2)+1/2log(2)
=1

好了，关于信息熵的简单概念大概就是这样了，其中还有很多内容本文没有介绍到，感兴趣的可以去深入看看。