沐神学习笔记——长短期记忆网络(LSTM)【动手学深度学习v2】

理论部分

沐神学习笔记——长短期记忆网络(LSTM)【动手学深度学习v2】_第1张图片
沐神学习笔记——长短期记忆网络(LSTM)【动手学深度学习v2】_第2张图片
记忆细胞C 类似于之前RNN里面的h。
沐神学习笔记——长短期记忆网络(LSTM)【动手学深度学习v2】_第3张图片
上面的如果:Ft是0的话尽量的去遗忘,如果I==0,就把现在的记忆单元丢掉。

这两个是相互独立的,也就是说:可以全部不要,也可以全部要,也可以一个要一个不要。

隐藏状态

沐神学习笔记——长短期记忆网络(LSTM)【动手学深度学习v2】_第4张图片
隐藏状态:对候选记忆单元 又做一个tanh(变到-1~+1之间)。

沐神学习笔记——长短期记忆网络(LSTM)【动手学深度学习v2】_第5张图片
所以这个Ct可以到 -2~+2 之间。
沐神学习笔记——长短期记忆网络(LSTM)【动手学深度学习v2】_第6张图片
所以为了保证隐藏状态是-1~+1之间,又对Ct做一次 tanh。
上图的Ot是说 要不要输出࿰

你可能感兴趣的:(深度学习理论和实践应用,深度学习,lstm,学习)