神经网络之softmax神经元

引言

在之前的内容里，我们采用的是sigmoid函数作为输出层神经元。这里我们介绍一种softmax函数作为新的输出层。

softmax函数

softmax本质上是一种归一化的过程，假设神经元的带权输入为：
zLj=∑kwLjkaL−1k+bLj z j L = ∑ k w j k L a k L − 1 + b j L

定义输出神经元的激活值为：

aL−1k=ezLj∑kezLk a k L − 1 = e z j L ∑ k e z k L

分母的求和是在所有的输出神经元上进行的。

softmax的意义：

softmax本质上是一种神经元输出的概率分布形式，，每个神经元的输出都可以理解为是正确输出的概率。任何输出的减少都会必然导致其他输出的增加，保证了所有的输出相加为1。