softmax激活函数与softmax损失函数

一、softmax()激活函数

        在二分类任务中，输出层使用的激活函数为 sigmoid，而对于多分类的情况，就需要用到softmax 激活函数给每个类都分配一个概率。多分类的情况下，神经网络的输出是一个长度为类别数量的向量，比如输出是(1,1,2)，为了计算概率，可以将其中的每个除以三者之和，得到 (0.25, 0.25, 0.5)。
        但是这样存在一个问题，比如像 (1,1,-2) 这种存在负数的情况，这种方法就不行了。解决办法是先对每个元素进行指数操作，全部转换为正数，然后再用刚才的方法得到每个类别的概率。softmax 函数将每个单元的输出压缩到 0 和 1 之间，是标准化输出，输出之和等于 1。softmax 函数的输出等于分类概率分布，显示了任何类别为真的概率。softmax 公式如下：

下图是更形象的例子：

二、softmax损失函数

softmax loss损失函数详解

参考文章：
激活函数与损失函数
softmax loss损失函数详解