【nlp】3.2 Transformer论文复现:1. 输入部分(文本嵌入层和位置编码器)

Transformer论文复现:输入部分(文本嵌入层和位置编码器)

  • 1 输入复现
    • 1.1 文本嵌入层
      • 1.1.1 文本嵌入层的作用
      • 1.1.2 文本嵌入层的代码实现
      • 1.1.3 文本嵌入层中的注意事项
    • 1.2 位置编码器
      • 1.2.1 位置编码器的作用
      • 1.2.2 位置编码器的代码实现
      • 1.2.3 位置编码器中的注意事项

1 输入复现

输入部分包含:

  • 源文本嵌入层及其位置编码器
  • 目标文本嵌入层及其位置编码器

【nlp】3.2 Transformer论文复现:1. 输入部分(文本嵌入层和位置编码器)_第1张图片

1.1 文本嵌入层

1.1.1 文本嵌入层的作用

其中两个输入都涉及到文本嵌入层,关于此层的作用总结如下:

  • 无论是源文本嵌入还是目标文本嵌入,都是为了将文本中词汇的数字表示转变为向量表示,

你可能感兴趣的:(NLP自然语言处理,自然语言处理,transformer,深度学习,embedding)