transformer(一)注意力机制

20210625；短教程：《Transformers》；特邀讲师：邱锡鹏教授_哔哩哔哩_bilibili

神经网络与深度学习

https://nndl.github.io/ppt/chap-%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6%E4%B8%8E%E5%A4%96%E9%83%A8%E8%AE%B0%E5%BF%86.pptx

超详细图解Self-Attention - 知乎

扒源码：跳出self-attention看多头点积注意力 - 知乎

https://arxiv.org/pdf/2106.04554.pdf

【机器翻译】transformer | ESON

http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML_2019/Lecture/Transformer%20(v5).pdf

machine-learning-notes/attention-is-all-you-need.md at master · luweiagi/machine-learning-notes · GitHub

Transformer/CNN/RNN的对比（时间复杂度，序列操作数，最大路径长度） - 知乎