LSTM（长短期记忆）和GRU（门控循环单元）时间序列数据模型解析，工作原理比较总结！！！

LSTM（长短期记忆）

最核心的设置是：传送带（belt）

Forget Gate(f):a vector (the same shape as c and h)

遗忘门的作用：1. A Value of zero means "let nothing through"

 

2. A Value of one means "let everything through"

模型注释：W为可学习的参数矩阵，h代表上一时刻的更新状态，x代表这一时刻的观察状态，h和x做concatation。

Input Gate(i): decide which values of the conveyor belt we will update

输入门的作用：决定哪个值会被更新

模型注释：W为可学习参数矩阵，h代表上一时刻的更新状态，x代表这一时刻的观察状态，h和x做concatation。

！！注意：tanh激活函数使值位于[-1,1]

 

传送带更新

 

注释：分别做elementwise运算，再进行相加运算

Output gate(o):decide what flows from the conveyor belt C to the state

输出门作用：更新输出

 

更新状态state

 

GRU(门控循环单元)

 

Reset(重置门)：有点类似LSTM的遗忘门

Update(更新门)：更新当前的观察数据

 

候选隐藏状态：输入更新

 

更新隐藏状态：学习历史数据并且更新当前输入数据

公式总结如下：

 

 

个人总结：GRU与LSTM对比：

时间序列模型	不同点	相同点
GRU	1.遗忘门输出的使用与候选隐藏状态结合 2.更新门与候选隐藏状态门结合方式（1-）	基本思想：遗忘加更新
LSTM	1.遗忘门输出的使用与更新门状态结合 2.传送带输出与输出门结合产生新的隐藏状态	基本思想：遗忘加更新