LSTM模型（大白话+公式推导）

设计思路

• RNN是想把所有信息都记住；不管是有用的信息还是没用的信息（存在梯度爆炸和梯度消失的问题）例子：复习的时候，整本书都想记下来；导致记忆负担加重；记忆的效果不好；
• LSTM是设计一个记忆细胞；具备选择性记忆的功能，可以选择记忆重要信息，过滤掉噪声信息，减轻记忆负担（类比于：复习的时候看到考点内的信息就记忆；考点外的知识过滤掉）

前向传播的过程

RNN图

注意点：1、在循环神经网络(RNN)中，tanh常用作激活函数，tanh是一种非线性函数，它将输入映射到范围在-1到1之间；2、激活函数主要是：引入非线性，以便模型可以学习更加复杂的关系和模式 ；3、隐藏状态是一组表示模型内部状态的向量，它们通过时间步长进行传递和更新(在每个时间步长，当前输入和前一个时间步长的隐藏状态被馈送到RNN中，并生成新的隐藏状态)

LSTM图

其中LSTM是由两条线串起来的；上面那一条其实就是记忆细胞

单元图

解释：其中；C表示记忆细胞；h表示一个状态；

• 通过上述单元后；我们要输出一个新的状态和一个新的记忆细胞；
• sigma函数的值介于0～1【一个门单元】
• ft指的是遗忘门；it更新门；ot输出门

结合数学公式了解其内部原理

• 从公式的角度完整的了解其前向传播对过程# 结合例子理解LSTM
• 来讲一个这个单元的各个部分分别做了什么样的事情；所起到的作用又是什么

记忆细胞

• 也就是在这个时间步当中；我可以通过一些操作来确定我哪一些东西我需要记忆；哪一些我需要忘记掉；
  

• 在LSTM中的每个时间步里面，都有一个记忆cell，这个东西给予了LSTM选择记忆功能，使得LSTM有能力自由选择每个时间步里面记忆的内容

结合例子讲解

• 期末考试周
• 例子中有一个前提假设：我们的脑容量是有限的；意思就是当我考完这个高数之后；我需要尽可能的将我脑子里面和高数有关的内容遗忘；腾出位置给线性代数
• it门（更新门）：让我们去记住和考点知识相关的知识；和考题知识没有关系的知识我们就遗忘掉；
• 生成Ct
  
• ot；可能复习到的内容不一定全部都要用到；所以需要用到这个门

LSTM是如何缓解梯度消失的

• LSTM（长短期记忆网络）是一种循环神经网络，可以通过内部的门控结构来缓解梯度消失问题
• LSTM包含三个重要的门：输入门、遗忘门和输出门。每个门都有一个sigmoid激活函数来控制信息流量，并且使用逐元素乘法操作来选择性地保留或删除输入数据。此外，LSTM还通过一个称为“细胞状态”的中间变量有效地存储和更新信息。
• 在LSTM中，梯度可以通过时间反向传播算法进行有效地传递。在反向传播期间，由于门的存在，梯度不会在时间序列的每个步骤中消失或爆炸，因为它们可以限制信息流量。
• 总之，LSTM能够缓解梯度消失问题，是因为它的门控机制使得信息可以在时间序列中正确地流动，并通过细胞状态得到了良好的保留和更新。

参考

• ChatGPT
• 大白话讲解LSTM模型（包含公式推导）