Entrophy、Cross-Entrophy、 KL-Divergence

Entrophy

X是一个离散型随机变量，取值集合为$\mathcal{X}$，X服从概率分布$Pr(X=x)=p(x),x\in \mathcal{X}$，则当事件$x=x_0$时，它携带的信息量为：
$$I(x_0)=-log(p(x_0))$$
即事件$x=x_0$发生的概率越大，它携带的信息量越少。
例：一地区A明天99%的可能下雨，1%的可能晴天。当天气预报预测明天晴天时，携带的信息比预测明天下雨更多。

信息熵：$$H(p)=-\sum _i{p}_{i}log(p_i)$$

熵其实是信息量的期望值，它是一个随机变量的确定性的度量。熵越大，变量的取值越不确定。

例：接上例，另一地区明天50%可能下雨，50%可能晴天。
$H_A(x)=-[0.99\ast log(0.99)+0.01\ast log(0.01)]$
$H_B(x)=-[0.5\ast log(0.5)+0.5\ast log(0.5)$

$H_A(x)<H_B(x)$
B的不确定性大于A。

三个性质：
（1）单调性，发生概率越高的事件，其携带的信息量越低；
（2）非负性，信息熵可以看作为一种广度量，非负性是一种合理的必然；
（3）累加性，即多随机事件同时发生存在的总不确定性的量度是可以表示为各事件不确定性的量度的和，这也是广度量的一种体现。

KL-Divergence

相对熵、KL散度、KL距离：是两个随机分布间距离的度量，它度量当真实分布为p时，假设分布q的无效性。
$$D_{KL}(p||q)=H(p,q)-H(p)$$
$p:$实际分布
$q:$预测的分布

Cross-Entrophy

$$Cross-Entrophy=Entrophy+KLDivergence$$

$$H(p,q)=-\sum _i{p}_{i}lo{g}_2(q_i)$$
$p:$实际分布
$q:$预测的分布