LSTM公式原理+Keras Pytorch LSTM中参数对比+每层LSTM参数计算

Keras

输入shape:(samples,timesteps,input_dim)

• (100,5,64)表示输入100个句子，每个句子5个单词，每个单词用一个64-dim的向量表示
• 所以

concat = torch.cat((x1,x3),1)#(none,50,2,244)
input_dim = 2*244
timesteps = 50
#每个句子有50个单词，每个单词表示向量为488-dim

Pytorch

LSTM基础知识

参考：

• https://blog.csdn.net/qq_41437512/article/details/113541031

介绍

• LSTM采用了门控输出的方式，即三门（输入门、遗忘门、输出门）两态（Cell State长时、Hidden State短时）。其核心即Cell State

• 

• 遗忘门：$$f_t=\sigma \left(W_f\cdot \left[h_{t-1},x_t\right]+b_f\right)$$

• 输入门：$$i_t=\sigma \left(W_i\cdot \left[h_{t-1},x_t\right]+b_i\right)$$ $${\tilde{C}}_t=\tanh \left(W_C\cdot \left[h_{t-1},x_t\right]+b_C\right)$$以及t时刻cell的状态（长时）：$$C_t=f_t\cdot C_{t-1}+i_t\cdot {\tilde{C}}_t$$

• 输出门：$$o_t=\sigma \left(W_o\cdot \left[h_{t-1},x_t\right]+b_o\right)$$ $$h_t=o_t\cdot \tanh \left(C_t\right)$$

• 这里的$f_t,i_t,C_t\cdots$的维数都是hidden_size(cell个数)$\times 1$

• https://www.wangt.cc/2021/12/lstm%E6%80%BB%E7%BB%93%E7%AC%94%E8%AE%B0/

• 要注意，以上都是将$h_{t-1}与x_t$拼接起来的，但它本来应该是这样的

• 为什么要提到这个呢？因为不同的深度学习框架学习的参数是不一样的，后面计算参数那部分会说

LSTM参数计算

• 首先，经过个人实践，发现keras和pytorch的计算有一点点差异，原因就在上面说的h,x拼接那，拼接了之后偏置就只按合并的一个算，先看采取拼接的keras
• 其实要计算的就三个公式的$\sigma$和一个$tanh$的参数，这里的参数都不是共享的哦，都不一样，只要计算一个的，再×4即可
• 先看一个的：
• 
• 所以参数公式记为：$$(d_h+d_x)\times d_h+d_h(这是偏置)$$
• 该层所有参数为：$$4[(d_h+d_x)\times d_h+d_h]$$
• pytorch版本/paddle版本则是$$d_h\times d_h+d_x\times d_h+2d_h$$
• 所有参数为：$$4[(d_h+d_x)\times d_h+2d_h]$$