香农熵

介绍

Shannon熵是Claude E.Shannon在1948年的论文《通信的数学理论》中提出的。一般来说，熵指的是无序或不确定性。
在信息论中，系统是由发射机、信道和接收机来组成的。发射器产生发送的信息。通道以某种方式修改消息。接收方试图推断发送了哪条消息。

在这种情况下，熵（更具体地说，香农熵）是每个信息中包含的信息的期望值（平均值）。

在更规范的意义上来讲，将信息定义为可能事件或消息的概率分布对数的负值。每个事件的信息量构成一个随机变量，其期望值或平均值为香农熵。熵的单位是shannon、nat或hartley，这取决于用来定义它的对数的底，一般情况shannon通常被称为位。
**熵是对状态的不可预测性的一种度量，或者等价地说，它的平均信息量。当信息的概率分布已知时，香农熵精确地量化了所有这些考虑因素。**在熵的定义中，观察到的事件的意义（消息的含义）并不重要。熵只考虑观察到特定事件的概率，因此它所包含的信息是关于潜在概率分布的信息，而不是事件本身的意义。

定义：

香农将离散随机变量X的熵Η（定义为可能值{x1，…，xn}和概率质量函数（概率分布列或分布函数）P（X）为：

这里E是期望值运算符，I是X的信息量。（X）本身就是一个随机变量。
熵可以明确地写为

其中b是所用对数的底。b的公共值是2、欧拉数e和10，熵的单位是香农（shannon），b=2的是nat，b=10的是hartley。当b=2时，熵的单位通常也被称为比特。
也可以定义两个事件x和y的条件熵，分别取值Xi和Yi。

其中p（Xi，yJ）是x=Xi和y＝Yi的概率。这个量应该理解为给定事件Y的随机变量X中的随机性量。

例子：

考虑用已知的（不一定公平的）正面或反面出现的概率投掷硬币；这可以模拟为伯努利过程。
如果硬币是公平的（也就是说，如果正面和反面的概率都是相等的1/2），那么下一次掷硬币的未知结果的熵将最大化。这是最不确定的情况，因为很难预测下一次掷硬币的结果；每次掷硬币的结果都会传递一整块信息。这是因为

然而，如果我们知道硬币是不公平的，但是出现正面或反面的概率p和q，其中p≠q，那么不确定性就少了。每一次投掷，一方比另一方更有可能出现。减少的不确定性以较低的熵量化：平均而言，每次掷硬币传递的信息不到一个完整的位。例如，如果p=0.7，则

最极端的情况是双头硬币永远不会出现反面，或者双头硬币永远不会产生正面。那么就没有不确定性了。熵为零：每次掷硬币都不会传递新信息，因为每次掷硬币的结果总是确定的。
熵可以用信息长度除以它来规范化（标准化，归一化）。这个比率被称为度量熵，是信息随机性的度量。