斯坦福NLP课程 | 第14讲 - Transformers自注意力与生成模型

作者：韩信子@ShowMeAI，路遥@ShowMeAI，奇异果@ShowMeAI
教程地址：http://www.showmeai.tech/tutorials/36
本文地址：http://www.showmeai.tech/article-detail/251
声明：版权所有，转载请联系平台与作者并注明出处
收藏ShowMeAI查看更多精彩内容

ShowMeAI为斯坦福CS224n《自然语言处理与深度学习(Natural Language Processing with Deep Learning)》课程的全部课件，做了中文翻译和注释，并制作成了GIF动图！视频和课件等资料的获取方式见文末。

引言

学习变长数据的表示

学习变长数据的表示，这是序列学习的基本组件
序列学习包括 NMT，text summarization，QA，···

1.循环神经网络(RNN)

通常使用 RNN 学习变长的表示
RNN 本身适合句子和像素序列
LSTMs, GRUs 和其变体在循环模型中占主导地位

但是序列计算抑制了并行化
没有对长期和短期依赖关系进行显式建模
我们想要对层次结构建模
RNNs(顺序对齐的状态)看起来很浪费！

2.卷积神经网络(CNN)

并行化(每层)很简单
利用局部依赖
不同位置的交互距离是线性或是对数的
远程依赖需要多层

3.Attention 注意力

NMT 中，编码器和解码器之间的 Attention 是至关重要的
为什么不把注意力用于表示呢？

3.1 自注意力

自注意力机制

4.文本生成

4.1 自注意力

任何两个位置之间的路径长度都是常数级别的
门控 / 乘法的交互
可以并行化（每层）
可以完全替代序列计算吗？

4.2 既有成果

Classification & regression with self-attention:
- Parikh et al.(2016), Lin et al. (2016)
Self-attention with RNNs:
- Long et al.(2016), Shao, Gows et al.(2017)
Recurrent attention:
- Sukhbaatar et al.(2015)

4.3 Transformer

Transformer结构

4.4 编码器与解码器的自注意力

编码器的自注意力
解码器的自注意力

4.5 Attention is Cheap!

由于计算只涉及到两个矩阵乘法，所以是序列长度的平方
当维度比长度大得多的时候，非常有效

4.6 注意力：加权平均

4.7 自注意力

上例中，我们想要知道谁对谁做了什么，通过卷积中的多个卷积核的不同的线性操作，我们可以分别获取到 who, did what, to whom 的信息。

但是对于 Attention 而言，如果只有一个Attention layer，那么对于一句话里的每个词都是同样的线性变换，不能够做到在不同的位置提取不同的信息
{>>这就是多头注意力的来源，灵感来源于 CNN 中的多个卷积核的设计<<}

Who，Did What，To Whom，分别拥有注意力头

将注意力层视为特征探测器
可以并行完成
为了效率，减少注意力头的维度，并行操作这些注意力层，弥补了计算差距

4.8 卷积和多头注意力

Different linear transformations by relative position.
Parallel attention layers with different linear transformations on input and output.

5.Results

5.1 机器翻译: WMT-2014 BLEU

但我们并不一定比 LSTM 取得了更好的表示，只是我们更适合 SGD，可以更好的训练
我们可以对任意两个词之间构建连接

6.框架

6.1 残差连接的必要性

残差连接结构
位置信息最初添加在了模型的输入处，通过残差连接将位置信息传递到每一层，可以不需要再每一层都添加位置信息

6.2 训练细节

ADAM 优化器，同时使用了学习率预热 (warmup + exponential decay)
每一层在添加残差之前都会使用dropout
Layer-norm/层归一化
有些实验中使用了Attention dropout
Checkpoint-averaging 检查点平均处理
Label smoothing 标签平滑
Auto-regressive decoding with beam search and length biasing 使用集束搜索和length biasing的自回归解码
……

6.3 What Matters?

6.4 Generating Wikipedia by Summarizing Long Sequences

7.自相似度，图片与音乐生成

7.1 自相似度，图片与音乐生成

7.2 基于概率分布的图像生成

模拟像素的联合分布
把它变成一个序列建模问题
分配概率允许度量泛化

RNNs和CNNs是最先进的(PixelRNN, PixelCNN)
incorporating gating CNNs 现在在效果上与 RNNs 相近
由于并行化，CNN 要快得多

图像的长期依赖关系很重要(例如对称性)
可能随着图像大小的增加而变得越来越重要
使用CNNs建模长期依赖关系需要两者之一
- 多层可能使训练更加困难
- 大卷积核参数/计算成本相应变大

7.3 自相似性的研究

自相似性的研究案例

7.4 非局部均值

A Non-local Algorithm for Image Denoising (Buades, Coll, and Morel. CVPR 2005)
Non-local Neural Networks (Wang et al., 2018)

7.5 既有工作

Self-attention:
- Parikh et al. (2016), Lin et al. (2016), Vaswani et al. (2017)
Autoregressive Image Generation:
- A Oord et al. (2016), Salimans et al. (2017)