【DL】Transformer与LSTM的区别和联系

1 区别

1.1 输入输出形式

对于Transformer，其编码器从作用上可以看作是大型MLP的变体，也就是说其输入是同时输入的，从输入形式上看与MLP十分相似；
LSTM的基本思想是时序模型，也就是说，在训练时输入是一个一个顺序输入的；

Espresso在《汉语自然语言处理-从零解读碾压循环神经网络的transformer模型(一)- 注意力机制-位置编码-attention is all you need》中讲到：
Transformer和LSTM的最大区别，就是LSTM的训练是迭代的，是一个接一个字的来,当前这个字过完LSTM单元,才可以进下一个字，而Transformer的训练是并行了,就是所有字是全部同时训练的，这样就大大加快了计算效率（并行性的优势）；