双向循环神经网络原理

一:背景

在经典的循环神经网络中,状态的传输,是从前往后的,但是在有些任务中,某些时刻的输出不仅和 之前状态有关,也与之后的状态有关。这就需要双向循环神经网络(Bidirectional rnn)来解决这类问题。

二:结构

双向循环神经网络原理_第1张图片

双向循环神经网络的主体结构是两个单向循环神经网络的结合。例如在某个时刻,输入会同时提供给这两个方向相反的循环神经网络,每个网络生成各自的在该时刻的状态和输出,双向循环神经网络的输出会是由两个单向网络输出的简单拼接。除方向不一样外,其余结构完全相同。两个网络结构对称,任意网络的任意循环体都可以选择任意循环结构,如rnn,lstm等等。。双向循环神经网络的前向传播过程和单向的循环神经网络十分类似,这里不再赘述。

三:模型推导:

双向循环神经网络原理_第2张图片

你可能感兴趣的:(神经网络)