16 Transformer 的编码器（Encodes）——我在做更优秀的词向量

博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看

配套 github 链接：https://github.com/nickchen121/Pre-training-language-model

配套博客链接：https://www.cnblogs.com/nickchen121/p/15105048.html

Transformer 框架

seq（编码器）2seq（解码器）

1. 通过编码器对序列进行向量化（词向量）
2. 把词向量输入到解码器，得到结果（生成单词）

编码器概略图

编码器包括两个子层，Sel