交叉熵函数原理

交叉熵函数

信息量

一个信息的信息量取决于该消息对应事件发生概率的大小。或者说信息量是用来消除****随机不确定性的东西，衡量信息量的大小在于该信息消除不确定性的程度
例：
对于事件A，如果$P\left(A\right)=1$,信息（A事件发生了）没有消除任何不确定性，则该信息量为0
如果事件B的发生概率很小，则信息（B事件发生了）消除了很大的不确定性，该信息量也很大

假设$X$是一个离散型随机变量，其取值的集合为$\varphi$,其概率分布函数$p(x)=Pr(X=x),x\subseteq \varphi$ , 则定义事件$X=X_0$的信息量为$$I\left(x_0\right)=-log\left(p\left(x_0\right)\right)$$

熵

对于一个事件，有n种可能性，每一种可能性对应的概率$p(x_i)$,计算每一种可能性对应的信息量

事件	概率p	信息量
A	0.7	0.36
B	0.2	1.61
C	0.1	2.30

熵可表示为所有信息量的期望，为$$H\left(X\right)=\sum _i^{n}p\left(x_i\right)I\left(x_i\right)=-\sum _i^{n}p(x_i)log(p(x_i))$$

相对熵（KL散度）

相对熵又称KL散度,如果我们对于同一个随机变量 x 有两个单独的概率分布 P(x) 和 Q(x)，我们可以使用 KL 散度（Kullback-Leibler (KL) divergence）来衡量这两个分布的差异
计算公式为：$$D_{KL}(p||q)=\sum _{i=1}^{n}p(x_i)log(\frac{p(x_i)}{q(x_i)})$$
$D_{KL}$的值越小，表示$q$分别和$p$分布越接近
在机器学习中，认为$p$为现实生活中真实的分布，可以和现实数据完美拟合，$q$分别为模型拟合的分布，相对熵可以表示模型分布和现实分布的差距

交叉熵

分解KL散度公式有$$D_{KL}(p||q)=\sum _{i=1}^{n}p(x_i)log(p(x_i))-\sum _{i=1}^{n}p(x_i)log(q(x_i))$$$$=-H(p(x))+[-\sum _{i=1}^{n}p(x_i)log(q(x_i))]$$
等式的前一部分恰巧就是p的熵，等式的后一部分，就是交叉熵：
$$H(p,q)=-H(p(x))+[-\sum _{i=1}^{n}p(x_i)log(q(x_i))]$$

参考：

https://blog.csdn.net/tsyccnh/article/details/79163834
https://blog.csdn.net/b1055077005/article/details/100152102