「深度学习」长短时记忆网络LSTM

一、经典模型

\widetilde{c}^{} = tanh(w_{c}[a^{},x^{}]+b_{c})

• 更新门：\Gamma_{u} = \sigma(w_{u}[a^{},x^{}]+b_{u})

• 遗忘门：\Gamma_{f} = \sigma(w_{f}[a^{},x^{}]+b_{f})

• 输出门：\Gamma_{o} = \sigma(w_{o}[a^{},x^{}]+b_{o})

c^{} = \Gamma_{u}*\widetilde{c}^{} + \Gamma_{f}*\widetilde{c}^{}​

a^{} = \Gamma_{o} * tanh(c^{})

二、窥视孔连接

c^{} 也能影响门的值：

\Gamma_{u} = \sigma(w_{u}[a^{},x^{},c^{}]+b_{u})

\Gamma_{f} = \sigma(w_{f}[a^{},x^{},c^{}]+b_{f})

\Gamma_{o} = \sigma(w_{o}[a^{},x^{},c^{}]+b_{o})​

三、vs GRU

GUR 相关内容见上一篇博客

GRU 是更简单的模型，只有两个门，运行快，更容易建立大的网络

LSTM 更加强大和灵活 —— 作为默认选择