LSTM的结构

RNN和LSTM

简略表示RNN层:长方形节点中包含了矩阵乘积、偏置的和、tanh函数的变换。将下面这个公式表示成一个tanh节点。

在这里插入图片描述

LSTM的结构_第1张图片

LSTM:Long Short-Term Memory(长短期记忆),长时间维持短期记忆。

LSTM与RNN的接口(输入输出)如下图,不同地方在于,LSTM还有路径c 。c称为记忆单元。

LSTM的结构_第2张图片

记忆单元在LSTM层内部结束工作,不向其他层输出。记忆单元仅在LSTM层内部接收和传递数据。

ct存储了时刻t时LSTM的记忆(保存了从过去到时刻t的所有必要信息)。

L

你可能感兴趣的:(学习笔记,lstm,rnn,深度学习)