深度学习笔记03——浅析Softmax作用

Softmax为一个函数，一般用于处理分类任务中初始输出结果。

首先对于一个分类的任务，它的输出一般为一个向量。因为可以通过向量的方式来表示某个类别。比如如下label的三个类别：

这个是label结果，不是分类网络的输出结果。而分类网络的输出结果也是一个向量，只是这个向量里面的值可以为任何值，即不是像label一样这么有规律。我们知道我们需要用分类网络的输出结果和label进行cross entropy 来计算loss。往往用于与label进行计算的那个输出向量不是最开始网络输出的输出向量，而是经过了softmax后的向量。

softmax的作用是：将可以为任何值的vector映射为vector内每个值属于(0,1),所有值之和=1,可以理解为概率。比如经过softmax后的vector为[0.88,0.12,0] ,那么这个图片为第一类的P=0.88。下图是整个过程：

Softmax里面进行操作如下：

 

给一个实际的例子：可以理解softmax的效果就是让大值与小值差距更大。

其他：

 当分类任务中只有两个类别时，使用sigmoid它的效果与softmax是等价的。

 Pytorch中softmax是集成在cross-entropy模块里的，也就是说当选择cross-entropy作为Loss时，你不需要再额外加softmax层，它自己内部就已经实现了。