【【强推】李宏毅2021机器学习深度学习】自注意力机制 Self-Attention

写在前面

[视频学习-bilibili] | [课程主页——sample code & slide] | [ML2021学习笔记] | [homework_code]

https://github.com/wolfparticle/machineLearningDeepLearning

---

输入是多个向量,而且这个输入的向量的数目是会改变的呢（之前的输入都是不会变的）

输入例子

输出例子（输入输出等长，输出只有1长度，输出长度未知seq2seq）

聚焦第一个问题：输入输出等长

Sequence Labeling

Self-Attention（可以多次叠加）

Self-Attention的原理

-----------------------视频(下)---------------------------------------

再讲一次b2怎么得来

从矩阵乘法的角度解释

进阶版：Multi-head Self-Attention

Positional Encoding（位置信息）

应用：

语音上应用

在图片上的应用

Self-Attention v.s. CNN

Self-attention v.s. RNN (RNN 这门课没有将，已经可以被Self-attention取代了？)（李宏毅老师的课真是与时俱进了）

Self-attention for Graph（GNN）（水也很深）

Self-attention （to learn more）（运算量非常大，怎么减少运算量也是未来的一个重点）（什么样的transform又快又好尚待研究问题，transform就是广义的self-attention了）