交叉熵

1 信息量

假设我们听到了两件事,分别如下: 

事件A:巴西队进入了2018世界杯决赛圈。 

事件B:中国队进入了2018世界杯决赛圈。 

仅凭直觉来说,显而易见事件B的信息量比事件A的信息量要大。究其原因,是因为事件A发生的概率很大,事件B发生的概率很小。所以当越不可能的事件发生了,我们获取到的信息量就越大。那么信息量应该和事件发生的概率有关。

假设x是一个离散型随机变量,取值范围为X,概率为p(x),x属于X,则x=x0的信息量为:I(x0) = -log(p(x0))

由于是概率所以p(x0)的取值范围是[0,1],绘制为图形如下:


交叉熵_第1张图片
信息量分布

你可能感兴趣的:(交叉熵)