LSTM详解

最近 有同学 问我，LSTM是怎么回事，我就 总结一下，方便大家学习

参考大神的解读：https://colah.github.io/posts/2015-08-Understanding-LSTMs/

另外就是 还有 吴老师的视频，现讲解如下：

下图是吴老师课程的图：

通过门，LSTM可以增加或者去除 cell_state（也就是上图中的c）的信息。门使用sigmoid函数，其值是[0,1],0: 任何信息不通过；1：所有信息均通过 .

接下来，我还是 盗用 大神解读过程中 的图 来加以说明。

遗忘门（forget gate）：决定 什么信息需要从 cell_state中删除，0：将Ct-1的值删除，1：保留Ct-1的值。

 更新门（update gate）:决定 哪些新的信息需要增加至 cell_state中

两部分：it 决定了哪些值需要更新，而 接下来的tanh产生新的候选项ct,其值需要加至state.把这两项结合起来形成一个 update state。替换遗忘门的值（old state）

 

遗忘门与更新门计算

使用ft 点乘Ct-1 忘记早期我们需要忘记的事情，然后，加上 it *ct(该值是新的候选值按比例缩放，有多少值需要更新至每一个state).在此步中，实际操作的是删除旧信息，增加新信息的过程。

输出门：

 由上可知，最终输出ht 是基于cell state，而其中的tanh只是为了把值 缩放至[-1,1]的范围内，防止梯度问题发生，而Ot 使用了sigmoid函数（0：不输出；1：输出），决定了 我们需要输出的部分。

 

好了，lstm已经全部说完了，相信大家对lstm已经有了新的认识吧

 

知乎：https://zhuanlan.zhihu.com/albertwang

微信公众号：AI-Research-Studio

 

如果觉得写的好，就赞赏一下吧