softmax函数与交叉熵函数详解

一、二分类以上的任务与二分类任务在网络结构上的区别：

在逻辑回归模型中，模型最终输出的是样本属于正例的概率p，用1-p表示反例的概率，该模型在输出端具有单个输出结点。那么，对于多分类任务，输出端可以有多个结点，每个结点代表属于某一类的概率，满足约束条件：所有结点的概率和为1。这个约束条件将输出结点的输出值变成一个概率分布。【概率分布用于表述随机变量取值的概率规律，随机事件的所有可能值（随机变量）+对应的概率值，称为该事件的概率分布】

---

二、 softmax函数的使用

由一可知，多结点完成多分类任务需要满足的约束条件是：每个结点输出值范围是[0,1] & 所有结点输出值的和等于1。

能够满足这个约束要求的函数就是softmax函数。softmax常作为最后一层的激活函数使用。

softmax包含两部分：soft和max(求数据的最大值),与soft相对的就是hard，hardmax的作用就是直接计算出数据的最大值（唯一性）。softmax会为每个类别计算出一个概率值

softmax的计算原理：

softmax函数表达式：

单一节点输出结果与所有节点输出结果的比值，计算出每个节点输出值所占的比例值。

对softmax的求导：（ 对每个输出结点求偏导）

分两种情况：i=j 与 i≠j  ，求偏导推导过程如下：

---

交叉熵损失函数与softmax之间的关系

在执行多分类任务中，经常是使用softmax激活函数和交叉熵损失函数的搭配方式。因为交叉熵描述了两个概率分布的差异，然而神经网络输出的是向量，所以需要softmax激活函数先将一个向量进行’归一化‘成概率分布的形式，然后再采用交叉熵损失函数对计算最终的loss。

softmax损失函数  重点：假设此时第i个输出节点为正确类别对应的输出节点，则是正确类别对应输出节点的概率值，对添加log运算，不影响函数的单调性，我们期望的值越大越好(小于1),通常情况下使用梯度下降法来迭代求解，因此只需要为添加一个负号就变成损失函数。现在，希望该损失函数越小越好。所以，softmax的损失函数式子为：

记为式子（1）

交叉熵损失函数与softmax损失函数的转换关系：

softmax损失函数是只针对正确类别对应的输出节点，将这个节点的softmax值最大化；而交叉熵损失函数是直接衡量真实分布和实际输出的分布之间的距离。

交叉熵式子：, 代表真实样本的标签值。  （2）

在分类任务中，样本的真实标签通常表示为one-hot形式，比如三分类，第三个类别表示为[0,0,1]，仅正确类别的位置为1，其他位置都为0，将[0,0,1]代入式子(2),最终结果为。再对照式子(1),可以愉快的发现，（1）和（2）最终表达形式是一样的，那么，接下来计算损失函数的导数使用大家常见的式子(2),接下来将推导这个最终损失函数L对网络输出变量的偏导数：

交叉熵损失函数对输出节点的偏导数等于该节点概率与该节点标签值之差。按照这个式子得到每个输出节点的梯度值，从而对原节点输出值进行更新。

模拟一个三分类使用softmax与交叉熵的结果：

第一行，是每个节点的输出值，第二行，是经过softmax之后的节点输出值（概率值），第三行，是每个节点对应的真实标签值，第四行，代入交叉熵公式， , ,也就是计算出的loss值，第五行，是交叉熵损失函数对每个节点求偏导的结果（根据 公式计算）‘，第六行，是根据计算的梯度值对每个节点的原始输出值进行更新， 最后结果可以记为’推所有拉一个。后续就是循环计算。直至最终得到的loss值最小。

softmax+交叉熵损失函数对参数的更新规则，可以分为两步来记，第一步：每个节点的值减去对应的softmax结果；第二步，将真正类别的输出节点处的值加一。

参考以下文章：

多分类问题的交叉熵     一文详解softmax函数