【nlp】3.3 Transformer论文复现:2. 编码器部分(掩码张量、多头注意力机制、前馈全连接层)

Transformer论文复现:2. 编码器部分(掩码张量、多头注意力机制、前馈全连接层)

  • 2 编码器复现
    • 2.1 编码器介绍
    • 2.2 掩码张量
      • 2.2.1 掩码张量介绍
      • 2.2.2 掩码张量的作用
      • 2.2.3 生成掩码张量的代码实现
      • 2.2.4 掩码张量的可视化
      • 2.2.5 掩码张量总结
    • 2.3 注意力机制
      • 2.3.1 注意力计算规则的代码实现
      • 2.3.2 注意力机制总结
    • 2.4 多头注意力机制
      • 2.4.1 多头注意力机制结构图
      • 2.4.2 多头注意力机制概念
      • 2.4.3 多头注意力机制的作用
      • 2.4.4 多头注意力机制的代码实现
      • 2.4.5 多头注意力机制总结
    • 2.5 前馈全连接层

你可能感兴趣的:(NLP自然语言处理,自然语言处理,transformer,人工智能)