各类注意力机制Attention——可变形注意力

目录

  • 《Attention is all you need 》
  • 稀疏Attention
  • 残差Attention
  • 通道注意力
  • 空间注意力
  • 时间注意力
  • 可变形注意力

《Attention is all you need 》

各类注意力机制Attention——可变形注意力_第1张图片

稀疏Attention

各类注意力机制Attention——可变形注意力_第2张图片

残差Attention

各类注意力机制Attention——可变形注意力_第3张图片

通道注意力

各类注意力机制Attention——可变形注意力_第4张图片

空间注意力

各类注意力机制Attention——可变形注意力_第5张图片

时间注意力

实际上序列类任务也属于时间注意力,比如transformer decoder逐个预测模型

各类注意力机制Attention——可变形注意力_第6张图片

可变形注意力

各类注意力机制Attention——可变形注意力_第7张图片
各类注意力机制Attention——可变形注意力_第8张图片
各类注意力机制Attention——可变形注意力_第9张图片

各类注意力机制Attention——可变形注意力_第10张图片
各类注意力机制Attention——可变形注意力_第11张图片
各类注意力机制Attention——可变形注意力_第12张图片

各类注意力机制Attention——可变形注意力_第13张图片
各类注意力机制Attention——可变形注意力_第14张图片

你可能感兴趣的:(transformer,Attention,自然语言处理,深度学习,bert,Deformer,DETR)