64 注意力机制 | 65 注意力分数【动手学深度学习v2】

文章目录

  • 64 注意力机制
    • 总结
  • 65 注意力分数【动手学深度学习v2】
    • 总结
    • 代码
      • 加性注意力,还是看书吧 有解释
      • 可视化这个图,看哪一帧比较重要?!

64 注意力机制

64 注意力机制 | 65 注意力分数【动手学深度学习v2】_第1张图片

64 注意力机制 | 65 注意力分数【动手学深度学习v2】_第2张图片
64 注意力机制 | 65 注意力分数【动手学深度学习v2】_第3张图片
64 注意力机制 | 65 注意力分数【动手学深度学习v2】_第4张图片
64 注意力机制 | 65 注意力分数【动手学深度学习v2】_第5张图片

总结

64 注意力机制 | 65 注意力分数【动手学深度学习v2】_第6张图片

65 注意力分数【动手学深度学习v2】

64 注意力机制 | 65 注意力分数【动手学深度学习v2】_第7张图片

关键 是 a()如何设计?

64 注意力机制 | 65 注意力分数【动手学深度学习v2】_第8张图片
加性:qkv向量长度可以不一样
64 注意力机制 | 65 注意力分数【动手学深度学习v2】_第9张图片
64 注意力机制 | 65 注意力分数【动手学深度学习v2】_第10张图片

总结

64 注意力机制 | 65 注意力分数【动手学深度学习v2】_第11张图片

代码

64 注意力机制 | 65 注意力分数【动手学深度学习v2】_第12张图片
64 注意力机制 | 65 注意力分数【动手学深度学习v2】_第13张图片
更加精细的mask控制
64 注意力机制 | 65 注意力分数【动手学深度学习v2】_第14张图片

加性注意力,还是看书吧 有解释

比较复杂,是因为要做成向量版本!
64 注意力机制 | 65 注意力分数【动手学深度学习v2】_第15张图片
64 注意力机制 | 65 注意力分数【动手学深度学习v2】_第16张图片

可视化这个图,看哪一帧比较重要?!

64 注意力机制 | 65 注意力分数【动手学深度学习v2】_第17张图片
64 注意力机制 | 65 注意力分数【动手学深度学习v2】_第18张图片
64 注意力机制 | 65 注意力分数【动手学深度学习v2】_第19张图片
64 注意力机制 | 65 注意力分数【动手学深度学习v2】_第20张图片

你可能感兴趣的:(【杂学】,深度学习,人工智能)