信息熵与信息量随笔

一个充满可能性的系统视为一个“信息源”，它里面的不确定性叫做“信息熵”，而“信息”就是用来消除这些不确定性的，所以搞清楚黑盒子里是怎么一回事，需要的“信息量”就等于黑盒子里的“信息熵”。

信息熵表示描述一个变量所需要的信息量，信息熵越大，描述该变量所需要的信息越多，所需要的信息量就越大。

比如我们在研发新药时，对于新药物带来的计量、疗效、风险评估等不确定性越多，即信息熵越大，就需要大量的数据及临床试验来消除不确定性，需要的信息量就大；反之，许多已经使用中的药品有了新病症的应用场景，相对于新药物的信息熵较小，不确定性与风险较低，需要的信息量就小。