LSTM参数问题——很多情况下LSTM中每个单元中的参数是相同的


GRU、RNN大部分情况下也是这样。至少我网上找到的代码是这样的

一个完整的LSTM中可能有多个LSTM单元(Cell),每个单元接收一个时间步的输入。

​​​​​​LSTM参数问题——很多情况下LSTM中每个单元中的参数是相同的_第1张图片
每个单元中都有参数 W i , W f , W o , W c W^{i}, W^{f},W^{o}, W^{c} Wi,Wf,Wo,Wc,分别控制输入、遗忘门、输出、以及长期记忆门。

按照(我的)直觉,在每个LSTM单元中,这些参数都是不同的。反向传播的过程会训练,每个单元的参数。但事实上,相当多的情况下,包括网络上的大部分示例中,一个LSTM中每个单元共享相同的 W i , W f , W o , W c W^{i}, W^{f},W^{o}, W^{c} Wi,Wf,Wo,Wc。包括pytorch中的nn.LSTM也是如此。nn.LSTM的输入参数中不包含时间步(time_stamp)。

你可能感兴趣的:(lstm,深度学习,人工智能)