基于时间的反向传播算法BPTT(Back Propagation Trough Time)

基于时间的反向传播算法BPTT(Back Propagation Trough Time)


将RNN展开之后,,前向传播(Forward Propagation)就是依次按照时间的顺序计算一次就好了,反向传播(Back Propagation)就是从最后一个时间将累积的残差传递回来即可,这与普通的神经网络训练本质上是相似的。

RNN的BPTT公式推导


参考文献:

1、A guide to recurrent neural networks and backpropagation ,Mikael Boden, Dallas Project Sics Technical Report T Sics, 2001

你可能感兴趣的:(深度学习,RNN,神经网络,RNN,BPTT)