李宏毅机器学习2021学习笔记（2）：Self Attention

李宏毅机器学习2021学习笔记（2）：Self Attention

1.特点

  传统机器学习深度学习任务一般为分类或者回归（输入为一个向量，输出为一个结果），而Self Attention有更复杂的输入输出，可以完成更复杂的任务。

2.三种情况

（1）每个向量输入有每个输出（并不孤立）

  适用于词性标注（POS tagging）

（2）多个向量输入只有1个输出

  适用于情感分析（Sentiment analysis）

（3）多个向量输入不确定个输出（seq2seq）

  适用于语音识别、文本翻译

3.怎么做Self Attention（略）

4.参考文献

1.Attention is all you need
2.BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
3.如何用Self Attention做语音识别Transformer-Transducer: End-to-End Speech Recognition with Self-Attention
4.如何用Self Attention做图像识别

5.Self-Attention Generative Adversarial Networks（Self Attention生成对抗网络）
6.DEtection Transformer (DETR)：End-to-End Object Detection with Transformers

7.数学方式解释CNN与Self Attention如何转化：On the Relationship between Self-Attention and Convolutional Layers


8.RNN与Self Attention：Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention
9.Long Range Arena: A Benchmark for Efficient Transformers
10.Efficient Transformers: A Survey