Transformer

什么是Transformer

Transformer是基于Self-attention注意力机制的一种网络结构，同时其网络结构也沿用了seq2seq的主体结构，由Encoder-Decoder流程组成，包含了multi-head（多个self-attention并行堆叠而成）、加入了位置信息编码以及mask。

Transformer的目的

Transformer最早的提出是由google2017年的一篇论文《Attention is All your need》其提出的最初目的是为了解决RNN中串行输入、串行编解码导致的速度慢的问题，RNN要等上一个输入编码完成后，才能对下一个输入进行编码，同理，解码过程也是如此，所以，Transformer提出了一种并行的结构来解决该问题。