双向循环神经网络

双向 RNN结构模型图

一个前向RNN隐层，一个后向RNN隐层，合并两个隐状态的到输出。

公式表达

应用举例（完形填空）

第一行是普通的RNN预测，后面两行可以使用双向RNN做填词，结果取决于过去和未来的上下文。

优劣

如下图所示，双向RNN适合做训练，因为训练时会提供过去和未来的信息。

然而，对于推理，也即预测，双向RNN则无法实现，因为它不仅需要过去的信息，还需要知道未来的信息。但是，未来的信息正是我们要推理的信息，所以无法实现。

总结

根据上面的训练过程，我们可以通过双向RNN提取文本的特征，这样提取到的特征和上下文都有关系，常用于语句翻译。