Softmax分类器

在前面我们已经讲了得分函数和损失函数，如果我们将类别的得分转换成概率的形式，则会更加直观。
首先介绍一下sigmoid函数：

sigmoid函数可以将输入的一个实数映射到0——1区间上。从图中我们可以看到自变量X的取值范围为正无穷到负无穷的一切实数，Y的取值范围是从0到1的。那么任意的一个X1我们都可以得到一个在[0,1]上的Y1，也就是我们可以把所有的值都压缩到0到1这个区间内，结合之前的得分函数，一个输入对于每一个类别的得分X，我们都可以把这个得分映射到[0,1]区间内，也就是把我们的得分数值转成了相应的概率值。
下面介绍一下softmax分类器：
softmax损失函数：

其中被称为softmax函数。

下面我们介绍一下分类器最终的LOSS值是怎么计算的：

第一步：对应于一个输入计算出它属于每种类别的得分数值。
第二部：利用sigmoid函数把所有的得分值映射成一个概率值。
第三部：对最终正确分类所占的概率求一个log值再取负号就。

我们利用这个图片具体介绍一下计算过程：
对于前面的小猫的图片输入，最终得出是三种类别的得分，从图中我们可以看到三个得分之间的差值其实很小，区分并不明显，所以这里我们进行一个值域的映射。因为我们需要他们之间的差异更大，这样我们就可以很轻松的分辨出来这个输入到底是什么。

对于e^x这个函数来说，越大的值映射完成之后越大，越小的值映射完之后也就越小。值域映射完成之后可以看到三种类别之间的差异更明显了分别为24.5、164.0、0.18。这一步就是
在我们得到这个得分值之后，我们需要得到一个概率值，这里我们想要得到的三个概率和为1，简单进行一个规划，就是用每一个得分除以总的得分，最后得到概率分别为0.13、0.87、0。这一步就是
下面的求和部分就是进行规划的过程。
现在我们得到了三种类别的概率值，从前一篇文章我们可以知道正确分类的概率越大损失函数值越小，正确分类的概率越小则损失函数的值应该越大，当正确分类的概率为1时，也就是分类结果完全正确的时候我们的损失函数值应该为0。
这里我们先来分析一下log函数：

从图中我们可以看到当X的值为1时，Y的取值为0，而当X的取值越小的时候这个Y的绝对值也就越大，所以log函数满足了我们这个要求，由于X在[0,1]中取值的时候，Y的值为负数，所以我们需要的是Y的绝对值，这里在log前面加上一个负号，log内的概率为正确分类的概率值，当正确分类的概率越小也就是分错了这时损失函数值也就越大。（神经网络的最后一层）