Self-Attention

文章目录

  • 前言
    • 复杂的输入
    • 输出是什么样的?
      • 输入每一个向量都有一个标签(Sequence Labeling)
      • 输入一整个序列对应一个标签
      • 模型自己决定标签数目(Seq2Seq)
  • 一、Sequence Labeling的方法
    • 全连接(fully-connected)
  • 二、Self-Attention
    • 矩阵表述:
    • 多头注意力
    • Position Encoding -- self-attention是缺少位置信息的
    • Self-Attention v.s. CNN
    • Self-Attention v.s. RNN


<

你可能感兴趣的:(MachineLearning,深度学习)