深度学习笔记——常见的Transformer位置编码

大家好,这里是好评笔记,公主号:Goodnote,专栏文章私信限时Free。本文详细介绍3种常见的Transformer位置编码——正弦/余弦位置编码(sin/cos)、基于频率的二维位置编码(2D Frequency Embeddings)、旋转式位置编码(RoPE)

深度学习笔记——常见的Transformer位置编码_第1张图片


文章目录

  • Transformer中常见的编码方式
    • 正弦/余弦位置编码(Sinusoidal Positional Encoding)
    • 基于频率的二维位置编码(2D Frequency Embeddings)
    • 旋转式位置编码(Rotary Position Embeddings, RoPE)
      • RoPE 的数学原理
      • 输入特征与位置编码表示
      • 旋转变换
      • 符号意义
      • RoPE 的实现步骤
        • 1. 计算旋转角度
        • 2. 构造旋转矩阵
        • 3. 旋转变换
        • 4. 自注意力机制
      • RoPE 的优点
      • 应用场景
      • 总结
  • 历史文章
    • 机器学习
    • 深度学习

Transformer中常见的编码方式

  • 自注意力机制(Self-Attention)本身不具备任何顺序或空间位置信息。
  • 为此,需要显式地将位置信息嵌入输入特征,以确保模型能够感知特征间的空间或时间关系。

正弦/余弦位置编码(Sinusoidal Positional Encoding)

在 Transformer 的原始论文(Vaswani et al., 2017ÿ

你可能感兴趣的:(深度学习笔记,深度学习,transformer,人工智能)