PyTorch注意力机制

文章目录

• 1.注意力机制
• • 1.1 注意力机制
  • • 1.1.1 非参注意力池化层
    • 1.1.2 Nadaraya-Watson核回归
    • 1.1.3 参数化的注意力机制
    • 1.1.4 注意力汇聚：Nadaraya-Watson核回归的代码实现
• 2 注意力分数
• • 2.1 加性注意力
  • 2.2 缩放点积注意力
  • 2.3 注意力打分函数代码实现
• 3 使用注意力机制的seq2seq
• 4 多头注意力
• 5 自注意力
• • 5.1 比较卷积神经网络、循环神经网络和自注意力
  • 5.2 位置编码
  • • 5.2.1 绝对位置信息
    • 5.2.2 相对位置信息

1.注意力机制<