信息量和熵、KL散度、交叉熵损失函数

1.引言

在使用pytorch深度学习框架做多分类时，计算损失函数通常会使用交叉熵损失函数nn.CrossEntropyLoss()

2. 信息量和熵

信息量：
它是用来衡量一个事件的不确定性的；一个事件发生的概率越大，不确定性越小，则它所携带的信息量就越小。假设$X$是一个离散型的随机变量，其取值集合为$X$ = $x_0，x_1，，，x_n$,其概率分布函数为$p(x)=Pr(X=x),x\in X$,则定义事件$X=x_0$的信息量为：
$$I(x_i)=-log(p(x_i))$$
当$p(x_0)=1$ 时，该事必定发生，其信息量为0。

熵:
熵用来衡量一个系统的混乱程度，代表系统中信息量的总和；熵值越大，表明这个系统的不确定性就越大。
信息量是衡量某个事件的不确定性，而熵是衡量一个系统（所有事件）的不确定性。
熵的计算公式:
$$H(x)=-\sum _{i=1}^{n}p(x_i)log(p(x_i))$$
对连续性随机变量
$$H(x)=-{\int }_a^{b}p(x)log(p(x))dx$$
其中，$p(x_i)为事件X=x_i的概率，-log(p(x_i))为事件X=x_i的信息量。$
可以看出，熵是信息量的期望值，是一个随机变量（一个系统，事件所有可能性）不确定性的度量。熵值越大，随机变量的取值就越难确定，系统也就越不稳定；熵值越小，随机变量的取值也就越容易确定，系统越稳定。

3.KL散度

KL散度的数学定义：
对于离散事件我们可以定义事件A和B的差别为：
$$D_{KL}(A||B)=\sum _i^n{P}_A(x_i)log\left(\frac{P_A(x_i)}{P_B(x_i)}\right)=\sum _i^n(P_A(x_i)log(P_A(x_i))-P_A(x_i)log(P_B(x_i)))$$
对于连续事件，那么我们只是把求和改为求积分而已(2.2)。
$$D_{KL}(A||B)=\int a(x)log\left(\frac{a(x)}{b(x)}\right)$$
从公式中可以看出：
如果$P_A=P_B$ ，即两个事件分布完全相同，那么KL散度等于0。
观察上可看出，KL散度来计算两个分布A与B的时候是不是对称的，有“坐标系”的问题
$$D_{KL}(A||B)\ne D_{KL}(B||A)$$

3.交叉熵 Cross Entropy
数学解释：

A和B的交叉熵 = A与B的KL散度 - A的熵
$$D_{K}L(A\mid \mid B)=-S(A)+H(A,B)$$
对比一下这是KL散度的公式：
$$D_{KL}(A||B)=\sum _i{P}_A(x_i)log\left(\frac{P_A(x_i)}{P_B(x_i)}\right)=\sum _i{P}_A(x_i)log(P_A(x_i))-P_A(x_i)log(P_B(x_i))$$
这是熵的公式：
$$S(A)=-\sum _i{P}_A(x_i)log{P}_A(x_i)$$
这是交叉熵公式：
$$H(A,B)=-\sum _i{P}_A(x_i)log(P_B(x_i))$$
此处最重要的观察是，如果$S(A)$是一个常量，那么$D_{KL}(A||B)=H(A,B)$，也就是说KL散度和交叉熵在特定条件下等价。
同时补充交叉熵的一些性质：
和KL散度相同，交叉熵也不具备对称性：$H(A,B)\ne H(B,A)$
Cross(交叉)主要是用于描述这是两个事件之间的相互关系，对自己求交叉熵等于熵。即 $H(A,A)=S(A)$，注意只是非负而不一定等于0。

机器学习中的方法：

交叉熵主要是用来判定实际的输出与期望的输出的接近程度，也就是交叉熵的值越小，两个概率分布就越接近。假设概率分布p为期望输出，概率分布q为实际输出，$H(p,q)$为交叉熵，则表达式：
（1）二分类
$$H(p,q)=\frac{1}{N}\sum _{i=1}^{N}H(p(x_i),q(x_i))=\frac{1}{N}\sum _{i=1}^N-(p(x_i)log(q(x_i)))+(1-p(x_i))log(1-q(x_i))$$
其中：
N表示一个batch的样本数
$p(x_i)$ 表示样本i的label，正类为1，负类为0
$q(x_i)$ 表示样本i预测为正的概率
（2）多分类
$$H(p,q)=\frac{1}{N}\sum _{i=1}^{N}H(p(x_i),q(x_i))=-\frac{1}{N}\sum _{i=1}^N\sum _{j=1}^{M}p(x_{ij})log(q(x_{ij}))$$
其中：
M表示类别数
$p(x_{ij})$ 表示变量（0或1）,如果该类别和样本i的类别相同就是1，否则是0；
$q(x_{ij})$ 表示对于观测样本i属于类别$j$的预测概率。

5.交叉熵可以用作代价的原因

最小化模型分布$P(model)$与 训练数据上的分布 $P(training)$的差异 等价于 最小化这两个分布间的KL散度，也就是最小化 $KL(P(training)||P(model))$.
比照第四部分的公式：
此处的A就是数据的真实分布：$P(training)$
此处的B就是模型从训练数据上学到的分布：$P(model)$
训练数据的分布A是给定的。那么根据我们在第四部分说的，因为A固定不变，那么求$D_{KL}(A||B)$ 等价于求$H(A,B)$，也就是A与B的交叉熵。
得证，交叉熵可以用于计算“学习模型的分布”与“训练数据分布”之间的不同。当交叉熵最低时(等于训练数据分布的熵)，我们学到了“最好的模型”。
但是，完美的学到了训练数据分布往往意味着过拟合，因为训练数据不等于真实数据，我们只是假设它们是相似的，而一般还要假设存在一个高斯分布的误差，是模型的泛化误差下线。

5.pytorch中的交叉熵
（待整理）

文章参考：
1.https://www.zhihu.com/question/65288314
2.https://segmentfault.com/a/1190000023336609?utm_source=tag-newest
3.https://blog.csdn.net/geter_CS/article/details/84857220?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EOPENSEARCH%7Edefault-1.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EOPENSEARCH%7Edefault-1.control
感谢大佬！