机器学习-李宏毅-【2】自注意力机制 (Self-attention)

Self-attention,自注意力机制
词向量关联性计算:Dot-product、Inner-product
(自己与自己计算关联性?)

Batch Normalization

Pytorch 在 Training 过程中将持续计算一个 moving avrage

Internal Covariate Shift

Transformer

Encoder的Block
机器学习-李宏毅-【2】自注意力机制 (Self-attention)_第1张图片
Decoder自己决定输出的向量的长度
机器学习-李宏毅-【2】自注意力机制 (Self-attention)_第2张图片
NAT:

  1. parallel 平行化
  2. controllable output length 输出长度可控

Tricks

  1. Copy Mechanism
  2. Guided Attention:Monotonic Attention、Location-aware attention
  3. Beam Search: Greedy Decoding
  4. Scheduled Sampling

BLEU score

Sequence Labeling

类似于卷积
机器学习-李宏毅-【2】自注意力机制 (Self-attention)_第3张图片
类似于空洞卷积???
机器学习-李宏毅-【2】自注意力机制 (Self-attention)_第4张图片

special token:前两行、前两列,所有token通过special token传递信息,token两两间无通信
机器学习-李宏毅-【2】自注意力机制 (Self-attention)_第5张图片

multi-head:通过不同的head,使用多种attention机制
机器学习-李宏毅-【2】自注意力机制 (Self-attention)_第6张图片
机器学习-李宏毅-【2】自注意力机制 (Self-attention)_第7张图片

query和key在同一cluster里才计算其attention value,否则直接置0
机器学习-李宏毅-【2】自注意力机制 (Self-attention)_第8张图片
上述模型,对于要不要计算attention,都是基于人类的理解

基于learnable决定要不要计算attention
机器学习-李宏毅-【2】自注意力机制 (Self-attention)_第9张图片

去除重复的column
机器学习-李宏毅-【2】自注意力机制 (Self-attention)_第10张图片

你可能感兴趣的:(#,机器学习-李宏毅,深度学习,人工智能)