Softmax求导计算

Softmax求导计算

[Softmax][6]
学习神经网络中的softmax分类器
Softmax求导计算_第1张图片
总的类别概率的和为1
求导:
1.当前类别的概率值对当前输入参数的求导,即dyi/dzi
求导类型为

计算过程如下:
Softmax求导计算_第2张图片
2.当前节点的概率值对其它节点的输入参数求导,即dyj/dyi
求导类型为

计算过程如下
Softmax求导计算_第3张图片
代价函数使用 互熵
Softmax求导计算_第4张图片
求cross-entropy对输出层的参数zi求导,

因此,C的值由所有的输出节点y决定,而需要求导的变量zi又影响到所有的y,因此C对zi的求导需要分别对所有节点y进行,即其中的yi i= 1,2,3……J;也就有了上图中的求和符号
手工推导过程如下
Softmax求导计算_第5张图片

你可能感兴趣的:(Softmax求导计算)