Softmax激活函数

在多分类问题中,我们通常回使用softmax函数作为网络输出层的激活函数,softmax函数可以对输出值进行归一化操作,把所有输出值都转化为概率,所有概率值加起来等于1,softmax的公式为

Softmax激活函数_第1张图片

简单的Softmax计算例子

例如某个神经网络有3个输出值,为[2,4,4].

计算e1 = 1,e5=5,e3=3, e1+e5+e3 = 10

p1 = e1/(e1+e5+e3) = 0.2

p2 = e5/(e1+e5+e3) = 0.4

p3 = e2/(e1+e5+e3) = 0.4

所以加上softmax函数后数值变成了[0.2,0.4,0.4].

你可能感兴趣的:(pytorch,pytorch)