Softmax Layer

Softmax函数将多个标量映射为一个概率分布，其输出的每一个值范围在(0,1)。公式如下图

softmax 函数

softmax函数经常用在神经网络的最后一层，作为输出层，进行多分类。此外，softmax在增强学习领域内，softmax经常被用作将某个值转化为激活概率，这类情况下，softmax的公式如下：

带温度参数的softmax函数

其中，T被称为是温度参数（temperature parameter）。当T很大时，即趋于正无穷时，所有的激活值对应的激活概率趋近于相同（激活概率差异性较小）；而当T很低时，即趋于0时，不同的激活值对应的激活概率差异也就越大。这个结论很重要，Hinton在2015年的一篇paper中重点阐释了如何根据温度参数来soften神经网络的输出，从而提出了distillation的思想和方法。

temperature = 0.01

temperature = 1

temperature = 100

1.前向传播

该过程比较简单，对输入的每个节点进行softmax（x）计算。但是需要注意的是，由于存在指数函数exp，对于输入很大的实数会softmax数值越界，导致预想不到的结果。所以在做softmax之前，需要将数据做简单的预处理，即：找出输入节点的最大值，然后让每个节点减去该最大值，使得输入节点都是小于等于0的，这样就能避免数值越界。

2.反向传播

softmax层的导数要分两种情况：1）该节点是输出类别 (i  =  j);2）该节点不为输出类别（i != j）

softmax 导数