双向 LSTM（Bidirectional LSTM）与普通 LSTM 公式过程

双向 LSTM（Bidirectional LSTM）与普通 LSTM 有类似的公式过程，但有一些细微的差别。LSTM 是一种循环神经网络（RNN），用于处理序列数据。它具有一个门控机制，可以捕捉长期依赖关系。

双向 LSTM 结构中有两个 LSTM 层，一个从前向后处理序列，另一个从后向前处理序列。这样，模型可以同时利用前面和后面的上下文信息。在处理序列时，每个时间步的输入会被分别传递给两个 LSTM 层，然后它们的输出会被合并。

具体而言，双向 LSTM 的公式过程如下：

• 前向 LSTM：

  • 输入门（input gate）：$i_t=\sigma (W_{ix}{x}_t+W_{ih}{h}_{t-1}+b_i)$
  • 遗忘门（forget gate）：$f_t=\sigma (W_{fx}{x}_t+W_{fh}{h}_{t-1}+b_f)$
  • 细胞状态（cell state）更新：${\tilde{C}}_t=\text{tanh}(W_{cx}{x}_t+W_{ch}{h}_{t-1}+b_c)$
  • 细胞状态（cell state）：$C_t=f_t\odot C_{t-1}+i_t\odot {\tilde{C}}_t$
  • 输出门（output gate）：$o_t=\sigma (W_{ox}{x}_t+W_{oh}{h}_{t-1}+b_o)$
  • 隐状态（hidden state）：$h_t=o_t\odot \text{tanh}(C_t)$

• 后向 LSTM：

  • 输入门（input gate）：$i_t^{\prime }=\sigma (W_{ix}^{\prime }{x}_t+W_{ih}^{\prime }{h}_{t+1}^{\prime }+b_i^{\prime })$
  • 遗忘门（forget gate）：$f_t^{\prime }=\sigma (W_{fx}^{\prime }{x}_t+W_{fh}^{\prime }{h}_{t+1}^{\prime }+b_f^{\prime })$
  • 细胞状态（cell state）更新：${\tilde{C}}_t^{\prime }=\text{tanh}(W_{cx}^{\prime }{x}_t+W_{ch}^{\prime }{h}_{t+1}^{\prime }+b_c^{\prime })$
  • 细胞状态（cell state）：$C_t^{\prime }=f_t^{\prime }\odot C_{t+1}^{\prime }+i_t^{\prime }\odot {\tilde{C}}_t^{\prime }$
  • 输出门（output gate）：$o_t^{\prime }=\sigma (W_{ox}^{\prime }{x}_t+W_{oh}^{\prime }{h}_{t+1}^{\prime }+b_o^{\prime })$
  • 隐状态（hidden state）：$h_t^{\prime }=o_t^{\prime }\odot \text{tanh}(C_t^{\prime })$

其中，$x_t$ 是输入序列的第 $t$ 个时间步的向量表示，$h_t$ 是前向 LSTM 在第 $t$ 个时间步的隐状态，$h_{t+1}^{\prime }$ 是后向 LSTM 在第 $t$ 个时间步的隐状态，$C_t$ 是前向 LSTM 在第 $t$ 个时间步的细胞状态，$C_{t+1}^{\prime }$ 是后向 LSTM 在第 $t$ 个时间步的细胞状态。$W$ 和 $b$ 是模型的参数，$\sigma$ 是 sigmoid 函数，$\odot$ 表示逐元素相乘。

通过双向 LSTM，我们可以获得更全面的序列信息，有助于提高模型在序列任务中的性能。