信息量 Amount of Information、熵 Entropy、交叉熵 Cross Entropy、KL散度 KL Divergence、交叉熵损失函数 Cross Entropy Loss

1、信息量 Amount of Information

• 信息量：衡量 事件发生的难度有多大
  • 小概率事件，它发生的难度比较大，所以有较大的信息量
  • 大概率事件，它发生的难度比较小，所以有较小的信息量

信息量公式 ： $I(x):=lo{g}_2(\frac{1}{p_{(x)}})=-lo{g}_2(p_{(x)})$

性质 ： 对于独立事件 A、B ：$p_{(AB)}=p_{(A)}{p}_{(B)}$ ，两个事件同时发生的信息量 等于 两个事件的信息量相加 ： $I(AB)=I(A)+I(B)$

$\to I(AB)=lo{g}_2(\frac{1}{p_{(AB)}})=lo{g}_2(\frac{1}{p_{(A)}{p}_{(B)}})=lo{g}_2(\frac{1}{p_{(A)}})+lo{g}_2(\frac{1}{p_{(B)}})=I(A)+I(B)$

$0\le p_{(x)}\le 1$

例1 ： 抛硬币，正面概率 $p_{(A)}=0.5$， 反面概率 $p_{(B)}=0.5$

$\to I(A)=-lo{g}_2(0.5)=1$ , $I(B)=-lo{g}_2(0.5)=1$

例2 ： 抛硬币，正面概率 $p_{(A)}=0.2$， 反面概率 $p_{(B)}=0.8$

$\to I(A)=-lo{g}_2(0.2)=2.32$ , $I(B)=-lo{g}_2(0.8)=0.32$

结论 ： 小概率事件 有 较大的信息量， 大概率事件 有 较小的信息量

---

2、熵 Entropy

定义 ： 概率分布 的信息量期望： $H(p):=E(I(x))$，（亦可理解为：系统整体的信息量。其中，系统整体由所有可能发生的事件构成。 比如抛硬币，正面和反面 就构成一个系统整体）

作用 ： 用来评估概率模型的不确定性程度

• 不确定性越大，熵越大
• 不确定性越小，熵越小

公式 ：$H(p)=\sum p_i{I}_i^p=-\sum p_{i}lo{g}_2(p_i)$

例1 ： 抛硬币，正面概率 $p_{(A)}=0.5$， 反面概率 $p_{(B)}=0.5$

$\begin{array}{rl}H(p)& =\sum p_i{I}_i^p\\ & =p_{(A)}\cdot lo{g}_2(1/p_{(A)})+p_{(B)}\cdot lo{g}_2(1/p_{(B)})\\ & =0.5\cdot lo{g}_2(1/0.5)+0.5\cdot lo{g}_2(1/0.5)\\ & =0.5\cdot 1+0.5\cdot 1\\ & =1\end{array}$

例2 ： 抛硬币，正面概率 $p_{(A)}=0.2$， 反面概率 $p_{(B)}=0.8$

$\begin{array}{rl}H(p)& =\sum p_i{I}_i^p\\ & =p_{(A)}\cdot lo{g}_2(1/p_{(A)})+p_{(B)}\cdot lo{g}_2(1/p_{(B)})\\ & =0.2\cdot lo{g}_2(1/0.2)+0.8\cdot lo{g}_2(1/0.8)\\ & =0.2\cdot 2.32+0.8\cdot 0.32\\ & =0.72\end{array}$

结论 ：
若概率密度均匀，产生的随机变量的不确定性就更高，则熵的值就更大
若概率密度聚拢，产生的随机变量的确定性较高，则熵的值较小

---

3、交叉熵 Cross Entropy

假设 真实概率分布为 $p$、预测概率分布 (估计概率分布) 为 $q$
定义 ： 预测概率分布 $q$ 对真实的概率分布 $p$ 的平均信息量 的估计，叫做交叉熵

公式 ： $H(p,q)=\sum p_i{I}_i^q=-\sum p_{i}lo{g}_2(q_i)$

例1 ： 抛硬币，正面真实概率 $p(A)=0.5$， 反面真实概率 $p(B)=0.5$ ； 正面估计概率 $q(A)=0.2$， 反面估计概率 $q(B)=0.8$

$\begin{array}{rl}H(p,q)& =-\sum p_{i}lo{g}_2(q_i)\\ & =p_{(A)}\cdot lo{g}_2(1/q_{(A)})+p_{(B)}\cdot lo{g}_2(1/q_{(B)})\\ & =0.5\cdot lo{g}_2(1/0.2)+0.5\cdot lo{g}_2(1/0.8)\\ & =0.5\cdot 2.32+0.5\cdot 0.32\\ & =1.32\end{array}$

例2 ： 抛硬币，正面真实概率 $p(A)=0.5$， 反面真实概率 $p(B)=0.5$ ； 正面估计概率 $q(A)=0.4$， 反面估计概率 $q(B)=0.6$

$\begin{array}{rl}H(p,q)& =-\sum p_{i}lo{g}_2(q_i)\\ & =p_{(A)}\cdot lo{g}_2(1/q_{(A)})+p_{(B)}\cdot lo{g}_2(1/q_{(B)})\\ & =0.5\cdot lo{g}_2(1/0.4)+0.5\cdot lo{g}_2(1/0.6)\\ & =0.5\cdot 1.32+0.5\cdot 0.74\\ & =1.03\end{array}$

结论 ：
（1）预估概率分布 与 真实概率分布 越接近，交叉熵越小。
（2）交叉熵的值 总是大于 熵的值 （根据 吉布斯不等式）

---

4、相对熵 （KL散度、 KL Divergence ）

KL散度 以 Kullback 和 Leibler 的名字命名， 也被称为 相对熵

作用 ： 用于衡量 2个概率分布 之间的差异

公式 ：

$\begin{array}{rl}D(p||q)& =H(p,q)-H(p)\\ & =\sum p_{i}lo{g}_2(1/q_i)-\sum p_{i}lo{g}_2(1/p_i)\\ & =\sum p_i[lo{g}_2(1/q_i)-lo{g}_2(1/p_i)]\\ & =\sum p_i[I_q-I_p]\#I_q-I_p为信息量之差\\ & =\sum p_{i}lo{g}_2(p_i/q_i)\end{array}$

重要性质：
（1）由 吉布斯不等式可知：$D(p||q)\ge 0$ ； 当 分布q 和 分布p 完全一样时， $D(p||q)=0$

（2）$D(p||q)$ 与 $D(q||p)$ 不一样，即 $D(p||q)\ne D(q||p)$

• $D(p||q)$ 表示以 p为基准 (为真实概率分布)，估计概率分布$q$ 与 真实概率分布$p$ 之间的差距
• $D(q||p)$ 表示以 q为基准 (为真实概率分布)，估计概率分布$p$ 与 真实概率分布$q$ 之间的差距

---

5、交叉熵损失函数 Cross Entropy Loss

由上可知， KL散度$D(p||q)$ 表示 预测分布q 与 真实分布p 之间的差距，所以 我们可直接将 损失函数定义为 KL散度： $Loss=D(p||q)$
并且我们希望 模型的预测分布q 与真实分布p 完全相同 ，即 ： 损失函数 $Loss=D(p||q)=0$

$$损失函数：Loss=D(p||q)=H(p,q)-H(p)=\sum p_{i}lo{g}_2(1/q_i)-\sum p_{i}lo{g}_2(1/p_i)\text{\hspace{1em}(1)}$$

对于分类问题，真实分布是一个单点分布，真实类别的概率为1， 其他类别的概率都为0，类似如下：

类别	class1	class 2	class 3	class 4
概率	0	0	1	0

$p_{class1}=p_{class2}=p_{class4}=0,lo{g}_2(1/p_{class3})=0$

所以， $H(p)=\sum p_{i}lo{g}_2(1/p_i)=0$

损失函数（1） 可进一步化简为 ： $$Loss=D(p||q)=H(p,q)-H(p)=H(p,q)\text{\hspace{1em}(2)}$$

$H(p,q)$ 是交叉熵，所以损失函数 又称为 交叉熵损失函数 :
$$Cross\_Entropy\_Loss=H(p,q)=-\sum p_{i}lo{g}_2(q_i)\text{\hspace{1em}(3)}$$

又因为真实分布为单点分布，真实类别的概率 $p_{class}=1$， 其他类别的概率 $p_{\overline{class}}=0$

$$Cross\_Entropy\_Loss=H(p,q)=-lo{g}_2(q_{class})$$