【深度学习】Softmax和交叉熵损失是什么？香农信息量、熵、交叉熵又是什么？

这之前了解一下$softmax$的一些概念，区别于$max$，$softmax$的特点就在于他的$soft$，有点像聚类里的软聚类和硬聚类的区别类似，$softmax$会给出属于各个类别是概率，而非直接归为某个类别。$softmax$计算也非常简单，公式如下：

$$Softma{x}_i=\frac{e^i}{{\sum }_j{e}^j}$$

${\sum }_{i}softma{x}_i=1$

公式表达的含义很简单明了，就是对输出求指数后归一化。

在这里也顺带介绍一下交叉熵损失的概念。交叉熵损失描述的是实际输出的概率同期望输出的概率（如标注的结果）间的“距离”。

$$L=\frac{1}{N}\sum _i{L}_i=\frac{1}{N}\sum _i-\sum _{c=1}^M{y}_{ic}\log \left(p_{ic}\right)$$

其中，$M$为类别数量，$y_{ic}$为指示变量（大多数情况下为0,1，做了Label Smooth后也可能非0或1），$p_{ic}$为观测样本$i$属于$c$类的概率（一般用$softmax$计算 $p_{ic}=\frac{e^{ic}}{{\sum }_{j=1}^M{e}^{ij}}$）。

那么为什么交叉熵公式长这样呢？
这需要从很古老的概念说起…1948年香农提出了信息熵的概念，解决了对信息的量化度量问题，提出信息量的度量就等于不确定性的多少。 一条信息的信息量大小和它的不确定性有直接的关系，不确定性越高，信息量越低。

• 事件发生的可能性可以用概率定量描述
• 信息的不确定性，则通过熵定量描述

香农信息量定义为 $-\log p=\frac{1}{\log p}$ ，熵定义为 $H(i)=-{\sum }_{i}P(i)\log (P(i))$，熵的本质是香农信息量的期望（可以看到熵的计算公式就是**（概率*信息量）之和**也就是期望的计算方法之一）。 通俗的说，变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大，通过熵就可以定量量度信息的不确定性。

那么交叉熵又是什么呢？

交叉熵：假设q(x)是用来拟合p(x)的概率分布，x属于p的样本空间，交叉熵用于衡量q在拟合p的过程中，用于消除不确定性而充分使用的信息量大小（理解为衡量q为了拟合p所付出的努力，另外注意交叉熵定义里的“充分使用”和信息熵定义里的“所需”的区别，“充分使用”不一定能达到全部，“所需”是指全部）。

也就是说，对于得到的模型输出的概率分布q，希望定量计算出其同真实概率分布p之间的差异（或者理解为从当前概率分布要变成真实或目标概率分布需要充分使用的信息量大小），就可以用交叉熵计算。计算公式为：

$$H(p,q)=-\sum _{i}p(i)\log (q(i))$$

上式计算其实也很简单，交叉熵就是真实概率分布下模型输出的香农信息量的期望，并以此来描述真实概率分布同模型输出的概率分布间的“距离”，所以交叉熵损失也就是交叉熵平均值 $\frac{1}{N}{\sum }_i-{\sum }_{c=1}^M{y}_{ic}\log \left(p_{ic}\right)$

简单的例子：二分类的交叉熵

$$L=\frac{1}{N}\sum _i{L}_i=\frac{1}{N}\sum _i-\left[y_i\cdot \log \left(p_i\right)+\left(1-y_i\right)\cdot \log \left(1-p_i\right)\right]$$

式中，$y_{ic}$为指示变量（样本i的label，正类为1，负类为0 ），$p_{ic}$表示样本i预测为正的概率。

Python代码

# 带溢出保护的softmax
def softmax(x):
    shift_x = x - np.max(x)    # 防止输入增大时输出为nan
    return np.exp(shift_x) / np.sum(np.exp(shift_x))

# 二分类交叉熵
def cross_entropy(y, y_hat):  # y-真实，y_hat-模型输出
    return -np.sum(np.nan_to_num(y * np.log(y_hat) + (1 - y) * np.log(1 - y_hat)))
	# np.nan_to_num()使用0代替数组x中的nan元素，使用有限的数字代替inf元素