[李宏毅老师深度学习视频] 自注意力机制 self-attention【手写笔记】

此笔记来源于李宏毅老师的机器学习视频，以下属于自己的理解以及老师上课的内容，由于公式过多，不便于直接打字，故用手写笔记替代。

Github的链接（pdf）：https://github.com/Bessie-Lee/Deep-Learning-Recodes-LiHongyi

本文讲述的是自注意力机制的内部矩阵运算细节以及自注意力机制可以运用的领域（CV、NLP、Grape），最后将自注意力机制与CNN、RNN进行对比（self-attention可以进行并行运算用GPU加速，而RNN不可）

下文即手写笔记