RNN softmax函数 交叉熵损失公式的反向传播

RNN网络中,如果某一步骤有输出值,可采用交叉熵定义其损失函数,下面推导了单步传播时,由y_hat(输出值),y(标签)反向传播时的误差传播公式。按照大叔惯例,依然手动,欢迎交流
RNN softmax函数 交叉熵损失公式的反向传播_第1张图片
RNN softmax函数 交叉熵损失公式的反向传播_第2张图片
求得了RNN步传播误差后,就可以进行单步反向传播的推导了。

你可能感兴趣的:(rnn,深度学习,神经网络)