Softmax反向传播推导

Softmax公式及作用

Softmax函数，或称归一化指数函数，通常在机器学习的分类器中做输出层用。它可以将一个含任意实数的K维向量 “压缩”为另一个K维向量，使得每一个元素的范围都在之间，也就代表了相应输出的概率。

Softmax函数公式如下：

Softmax的反向传播推导

我们已知：

则由链式法则可得输入 的梯度：

其中为上一层反向传播回来的梯度。下面重点分析：

上式中 if ，否则为0。带回原式：

码公式辛苦，转载请注明出处。