神经翻译笔记6. 卷积神经网络及其在机器翻译中的应用

神经翻译笔记6. 卷积神经网络及其在机器翻译中的应用

本章主要记录卷积神经网络（及其常见的附加操作，例如池化操作）的原理，及其在机器翻译中的使用方法。此外，在附录中，会填补前面在写RNN相关文章时的埋的坑QuasiRNN和SRU。卷积神经网络（CNN）在机器翻译上的应用比较尴尬，其提出时模型效果与RNN相比没有太过明显的优势（经典测试集WMT2014英德比SOTA高0.5个点），然后不到半年时间Transformer横空出世，带走了所有研究学者的目光，因此其在机器翻译领域地位稍显尴尬。此外笔者加速了计划的写作进度，所以对CNN这种在整个深度学习领域比较重要的网络结构本笔记不会写得特别深入，相比前面各章也省去了一些内容（例如TF的实现）。有需要的读者还需要参考其它资料

本文以CS224n 2019Winter的讲义、2020Winter的幻灯片和CS231讲义为主，涉及具体工作的内容来源于原始论文

CNN的基本原理

卷积

卷积的定义

本小节额外参考如何通俗易懂地解释卷积？ - 马同学的回答 - 知乎

卷积本来是一个在泛函中的一个抽象概念。对函数$f$和$g$，两者卷积的连续定义为

$$(f\ast g)(n)={\int }_{-\infty }^{\infty }f(\tau )g(n-\tau )d\tau$$

离散卷积定义为

$$(f\ast g)(n)=\sum _{\tau =-\infty }^{\infty }f(\tau )g(n-\tau )$$

在比较简单的离散卷积定义下，可以看一个比较直观的例子：假设有两枚骰子，掷出以后，两者点数加起来为4的概率是多少？记$f(x)$为第一枚骰子投出$x$的概率，$g(x)$为第二枚骰子掷出$x$的概率，则两枚骰子点数加起来为4的概率为

$$f(1)g(3)+f(2)g(2)+f(3)g(1)$$

这就符合了离散卷积的定义，写成标准的形式就是

$$(f\ast g)(4)=\sum _{m=1}^{3}f(4-m)g(m)$$

CNN中的基本二维卷积操作

从前述的例子中可以看出，卷积操作蕴含了一些滑动窗口的思想在里面，而具体应用于CNN时，这种原理体现得更加明显。在CNN中，最简单的情况是使用一个小的二维矩阵（称之为卷积核kernel，通常大小为$3\times 3$或$5\times 5$）作用在一个输入上。在经典的CV领域中，输入一般也是一个二维矩阵。在这种情况下，记卷积核矩阵为$\mathbf{K}\in {\mathbb{R}}^{m\times n}$（通常$m=n$），输入矩阵为$\mathbf{X}\in {\mathbb{R}}^{M\times N}$，结果矩阵为$\mathbf{Y}$，则计算二维卷积的过程可以描述为

1. 计算$\mathrm{S}\mathrm{u}\mathrm{m}(\mathbf{K}\odot {\mathbf{X}}_{0,0}^{m\times n})$。其中${\mathbf{X}}_{i,j}^{m\times n}$是$\mathbf{X}$的一个大小为$m\times n$的子矩阵，以$X_{i,j}$为子矩阵左上角的元素。$\odot$为两个矩阵的Hadamard乘积（逐元素乘积），$\mathrm{S}\mathrm{u}\mathrm{m}$函数求矩阵中所有元素的和。该操作得到一个标量，对应$Y_{0,0}$（实际上，也可以看做是两个向量的内积操作）
2. 将$\mathbf{K}$“向右滑”一个步长$s$，计算$\mathrm{S}\mathrm{u}\mathrm{m}(\mathbf{K}\odot {\mathbf{X}}_{0,s}^{m\times n})$，对应$Y_{0,1}$……直至超出范围为止。最简单情况下，$s=1$
3. 将$\mathbf{K}$拨回行起始处并“向下滑”一个步长$s$，计算$\mathrm{S}\mathrm{u}\mathrm{m}(\mathbf{K}\odot {\mathbf{X}}_{s,0}^{m\times n})$，对应$Y_{1,0}$，然后重复第2步
4. 重复第3步，直至超出范围为止

不难得到，当$s=1$时，结果矩阵$\mathbf{Y}\in {\mathbb{R}}^{(M-m+1)\times (N-n+1)}$

对二维卷积操作的扩展

前述二维卷积操作是最基础的卷积操作。实际应用时，通常会在以下方面做扩展

• 信道（channel）。在CV领域中，输入一般都是包含三个信道的图像，三个信道分别对应R、G和B。对图像做二维卷积操作时，实际上卷积核在一个时刻会看到该区域在所有信道的值。一般地，假设输入的信道数为$C$，卷积核的真实尺寸应该为$m\times n\times C$（即对三维输入，二维卷积核仍然是三维的，只不过第三个维度永远和输入的第三个维度相同）。对输入应用该卷积核得到的结果可以看做是：先对每个信道$i$做前述卷积操作得到结果$c_i$，然后将所有的$c_i$再相加。更泛化地说，每个卷积核实际上都是一个尺寸为$m\times n\times C$的全连接网络
• 滤波器（filter）。一般情况下，在使用CNN时通常不止使用一个卷积核，而是使用$K$个独立的卷积核。称这些卷积核组成一个大小为$K$的滤波器（在闻名遐迩的斯坦福CS231n讲义中，并未做如此区分，而是直接将卷积核称为滤波器）。由于对三维输入做二维卷积得到的结果是一个二维矩阵，因此$K$各卷积核卷积的结果通常再沿原来的第三维（信道维）展开，即某一个卷积层若输入有$C$个信道，使用大小为$K$的滤波器处理，则下一层的输入就有$K$个信道
• 补齐（padding）。由前面的分析可以看到，每经过一次卷积操作，得到的结果尺寸一般都会变小，如果不做任何额外处理，经过若干层计算，更高层的输入就会越来越小。此外，在当前的计算方法中，四角元素只能被用到1次，其它四边元素只能被用到3次，其它元素会被用到9次，周边元素会隐含地被降采样。基于以上原因，通常会对输入在周边使用某个元素做补齐，其中最常见的补齐就是加0补齐

二维卷积总结

本部分完全来自于CS231n讲义

通常来讲，二维卷积一般都是

• 输入维度$W_1\times H_1\times D_1$
• 接收四个参数
  • 滤波器大小$K$
  • 卷积核大小$F$（即卷积核尺寸为$F\times F$）
  • 步长$S$
  • 单边补0个数$P$。$P=1$时，每行最左补一个0，最右补一个0，加一个全0的首行和末行
• 产生的结果维度为$W_2\times H_2\times D_2$，其中
  • $W_2=(W_1-F+2P)/S+1$
  • $H_2=(H_1-F+2P)/S+1$
  • $D_2=K$

每个卷积核共有$F\times F\times D_1$个参数，该滤波器共有$F\times F\times D_1\times K$个参数和$K$个偏置

下面这个动图展示了输入维度为$5\times 5\times 3$，$K=2,F=3,S=2,P=1$的二维卷积计算过程

一维卷积

在NLP问题中，如果不考虑batch的大小（即认为batch为1），输入可以看做是一个$N\times d$的矩阵，其中每一行都是一个词向量。此时一般是认为输入有$d$个信道，使用长度为$n$（$n$一般为2到4）的一维卷积核进行卷积操作。其效果等同于对矩阵使用$n\times d$的二维卷积核进行操作（此时只有一个信道）

为什么使用卷积

卷积的最大作用是通过参数共享减少了参数数量。在最早的ImageNet 2012优胜方案中，其输入图像大小为$227\times 227\times 3$，使用的卷积核大小$F=11$，步长$S=4$，滤波器大小为$K=96$。由于$(227-11)/4+1=55$，因此输出大小为$55\times 55\times 96$。如果没有参数共享，每个感受野（即卷积核每次能“看到”的部分）使用不同参数，则该网络需要的参数为$11\times 11\times 3\times 55\times 55\times 96=105,705,600$。但是，一种符合直觉的假设是，如果一个特征在某个空间位置$(x,y)$起作用，那么它对另一个位置$(x_2,y_2)$也可以起作用，即对于同一个卷积核，可以用相同的权重生成该卷积核对应的所有像素点，不同的卷积核才使用不同权重。也就是说，同一个卷积核输出的像素点共享相同权重。这样，该层的参数数量就会降到$11\times 11\times 3\times 96=34,848$

上述解释是从模型复杂度角度对卷积意义进行的介绍。从应用原理来看，对于NLP问题，卷积操作的实际意义是它提取了句子中所有n元组信息。例如，当卷积核大小为2时，提取的就是所有二元组信息

池化

在卷积神经网络中，卷积的输出通常会接一个池化操作（pooling），以减少特征数量，降低网络计算复杂度，防止过拟合。不正式地讲，常见的池化就是将输入特征划分为若干个不相交的部分，对每个部分的所有元素做一个聚合操作

按照CS231讲义对池化的介绍，其操作原理与卷积类似，对$W_1\times H_1\times D_1$的输入，池化操作的尺寸为$F$，步长为$S$，池化后的结果大小为$W_2\times H_2\times D_1$，其中

• $W_2=(W_1-F)/S+1$
• $H_2=(H_1-F)/S+1$

不过有三个不同

• 是对局部输入的聚合操作，不再可以理解为全连接操作
• 在深度这一维对每个“切片”独立操作，不是所有切片一起操作
• 通常没有补零

常见的池化操作就是求所有元素的最大值（即最大池化）。之前也有工作尝试其他聚合方法，例如求均值，但是效果不如最大值好

更多的池化操作，可见卷积神经网络中的各种池化操作 - pprp的文章 - 知乎

（个人不太喜欢池化这个翻译。pool在英语里本就有汇集的意思，翻译成池化，感觉容易让人不明就里）

典型CNN结构

比较经典的CNN结构大致遵循如下模式

INPUT -> [[CONV -> RELU] * N -> POOL?] * M -> [FC -> RELU] * K -> FC

其中CONV是卷积操作，RELU是ReLU激活函数，POOL是池化操作（不必须），FC是全连接操作。不过，近几年的新CNN架构通常更加复杂

CNN在机器翻译中的应用

ByteNet

ByteNet[bytenet]体系结构于2016年提出，是一种字符级翻译模型，尝试使用一维卷积神经网络解决机器翻译问题，其中解码器部分使用了掩码来防止网络在训练时看到目标序列中未解码出的部分。ByteNet的运行时间与源句和目标句的长度呈线性关系，效率相对较高

与传统编码器-解码器结构不同，ByteNet使用了一种独特的结构，将解码器堆叠在编码器之上，其目的按照文章的说法是为了“增加表示带宽”。在实际实现上，解码器的每个时间步的输入都对应编码器该时间步的输出。然而，机器翻译不能保证解码器的输出长度一定小于等于编码器的输出长度，按照前述设计，如果解码的句子长度长于编码器的输入，有一些标识符应该是没有对应输入的。文章使用动态展开（dynamic unfolding）来解决这个问题。首先，模型需要根据源句长度预估一个宽松的目标句句长上限，文章中使用线性函数估计，即给定源句$\mathbf{s}$，记其长度为$|\mathbf{s}|$，目标句预估长度$|\hat{\mathbf{t}}|=a|\mathbf{s}|+b$。对英德翻译，一般设置$a=1.2,b=0$。解码时，如果出现EOS符，则解码停止。

（这里有两个问题：首先，原文图示举例了三种情况，其中一种解码长度甚至超出了$|\hat{\mathbf{t}}|$，这说明解码器在没有输入的时候也可以根据前一步的状态解码，那$|\hat{\mathbf{t}}|$预估有何用？其次，解码器从哪儿接收时间步在$|\mathbf{s}|+1$和$|\hat{\mathbf{t}}|$之间的表示？补0？）

ByteNet没有使用池化层进行降采样，而是使用了空洞卷积（dilated convolution，又称膨胀卷积、扩张卷积）来增大感受野的范围。所谓空洞卷积，可以理解为卷积核在覆盖的感受野内每隔一个间隔选取一个像素作为输入。例如，空洞率为1时，$3\times 3$的卷积核的感受野范围是$5\times 5$的，只不过只接受$X_{0,0},X_{0,2},X_{0,4},X_{2,0},X_{2,2},X_{2,4},X_{4,0},X_{4,2},X_{4,4}$作为输入。在ByteNet的设计中，最底层的空洞率为1，每高一层空洞率翻倍，封顶16

下图左给出了ByteNet的结构示意图。ByteNet的解码器每层封装成一个残差块，如下图右所示

每个残差块包含三个卷积操作，可以分为两种

• 带掩码的$1\times k$卷积核负责掩盖目标句在时刻$t$后面的标识符，防止作弊
• 两个$1\times 1$卷积核。CV中通常使用该网络改变通道数，但此处用意未明

每个卷积操作接收的输入都先经过一个层归一化和一个ReLU激活

ByteNet可以在$|\mathbf{S}|+|\mathbf{T}|$的时间内完成解码。此外，由于空洞卷积可以将解码器任意时间步的输入标识符和输出标识符相连，ByteNet中解码器任意时刻输入和任意时刻输出的最短路径的最大值也是一个常数，可以有效避免路径过长导致网络不能捕捉长距离依赖关系的现象

ConvS2S

ConvS2S[convs2s]同样也是设计了一种基于卷积神经网络的编码器-解码器结构，用来解决机器翻译任务。文章认为分层的卷积神经网络中，底层可以捕捉句子的局部信息，上层可以捕捉句子中的长距离信息。对长度为$n$的窗口，使用大小为$k$的卷积核，只需要$O(\frac{n}{k})$次卷积操作就可以获得该窗口的特征表示，而RNN需要$O(n)$次操作，因此CNN的效率要高一些

ConvS2S的模型结构有两个重要的组成部分，分别是卷积层和多步注意力机制。为方便起见，先约定：对模型的第$l$层，解码器的输出为${\mathbf{H}}^l=({\mathbf{h}}_1^l,\dots ,{\mathbf{h}}_n^l)$，编码器的输出为${\mathbf{Z}}^l=({\mathbf{z}}_1^l,\dots ,{\mathbf{z}}_m^l)$

卷积层

总体而言，ConvS2S也是分层架构，每一层（也称为块）内部结构都相等，包括一个大小为$k$的一维卷积，接一个非线性变换。一维卷积接收的输入为$\mathbf{X}\in {\mathbb{R}}^{k\times d}$，文章所说卷积核大小为$\mathbf{W}\in {\mathbb{R}}^{2d\times kd}$，但是这里个人感觉容易引起误会。按照笔者理解，这里应该是使用了一个大小为$k$的一维卷积核，$2d$个卷积核一起组成了一个滤波器，最后将输入投射到一个$2d\times 1$的向量（按照文章的说法，投射后应该还要再加一个偏置）

然而，网络输入每个位置的维度都是$d$维，这样卷积以后变成了$2d$维，如果不做处理，每一层都会将维数翻倍。因此ConvS2S使用了一个相对ReLU等常见激活函数来讲比较复杂的非线性变换，称之为门控线性单元（gated linear unit）。对卷积操作的输出$\mathbf{c}=[\mathbf{a}\mathbf{b}]\in {\mathbb{R}}^{2d}$，有

$$\mathrm{G}\mathrm{L}\mathrm{U}([\mathbf{a}\mathbf{b}])=\mathbf{a}\odot \sigma (\mathbf{b})$$

其中$\mathbf{a},\mathbf{b}\in {\mathbb{R}}^d$（即将输出对半分），$\odot$是Hadamard乘积操作（逐元素相乘）

在卷积块的基础上，根据之前训练深度卷积神经网络的经验，ConvS2S也使用了残差连接。此外，对解码器，在输入的左端和右端各补了$k-1$个0向量，并移除了卷积输出的最后$k-1$个元素，来防止解码器偷看到未来时间步的信息。（注意：原始论文写的是删除最后$k$个元素，但是理论分析感觉这里有错，会导致解码输出随着层数升高而变少。检查fairseq实现代码发现的确应该移除最后$k-1$个元素）。例如，假设卷积核大小k=3，解码器对应的输入一共有5个元素，那么经过pad，就会变成

T1 T2 T3 T4 T5

，第一次卷积看到的元素只有

T1，看不到后面的信息，因此不会被后面的元素干扰。该层输入传递到下一层后，在前面又会继续补padding，后面的信息还是会被屏蔽，直到最后输出

分层卷积的引入使得上层能接受更广的输入信息。对于一个6层的编码器，假设卷积核大小为5，那么第一层做第一次卷积操作时能看到第1到第5个标识符，做第二次卷积操作能看到第2到第6个标识符，以此类推，第一层做第五次卷积操作能看到第5到第9个标识符。由于第二层第一次卷积看到的是第一层前5个输出，因此实际上第二层第一次卷积接受的信息就来自于第1到第9个标识符，以此类推，第六层第一次卷积接收的信息就是前25个标识符，这是一个相当大的感受范围

多步注意力机制

在ConvS2S中，解码器的每一层都有一个独立的注意力计算。计算注意力时，把当前的解码器状态${\mathbf{h}}_i^l$和前一个目标单元的词嵌入${\mathbf{g}}_i$相加。由于训练时解码器的输出和输入有错一位的关系，因此其实${\mathbf{g}}_i$就是在第$i$步解码器的输入。最后的综合表示如下

$${\mathbf{d}}_i^l={\mathbf{W}}_d^l{\mathbf{h}}_i^l+{\mathbf{b}}_d^l+{\mathbf{g}}_i$$

该综合表示与编码器最后一层$u$的所有输出一起计算注意力。对编码器的第$j$个位置，注意力得分为

$$a_{ij}^l=\frac{\exp ({\mathbf{d}}_i^l\cdot {\mathbf{z}}_j^u)}{{\sum }_{t=1}^m\exp ({\mathbf{d}}_i^l\cdot {\mathbf{z}}_t^u)}$$

编码器各位置的输出先和对应位置的所有输入嵌入相加，然后按照注意力得分加权求和

$${\mathbf{c}}_i^l=\sum _{j=1}^m{a}_{ij}^l({\mathbf{z}}_j^u+{\mathbf{e}}_j)$$

这里和RNN不同的是输入嵌入也参与了计算。实践表明${\mathbf{e}}_j$的引入是有效的，起到了类似键值对记忆网络的作用，此时键为${\mathbf{z}}_j^u$，值为${\mathbf{z}}_j^u+{\mathbf{e}}_j$。其中，${\mathbf{z}}_j^u$编码了输入上下文，${\mathbf{e}}_j$提供了单点信息，蕴含一个指定的输入元素

${\mathbf{c}}_i^l$计算好以后，和解码器的原始输出${\mathbf{h}}_i^l$相加，作为下一层的输入

由于卷积操作的存在，每高一层都会额外考虑前面$k-1$步的注意力历史，因此网络有更强的记忆力

其它设计细节

除去卷积层和多步注意力，ConvS2S还有一些其它特殊的设计细节

位置嵌入。卷积操作的引入不可避免地淡化了词之间的顺序关系。为了应对这一点，ConvS2S不仅对所有输入标识符学习一个嵌入矩阵，还对所有位置学习一个嵌入矩阵。即编码器的第一层输入中，每个输入向量都是对应位置标识符嵌入和位置嵌入的加和，即

$${\mathbf{e}}_i={\mathbf{w}}_i+{\mathbf{p}}_i$$

解码器第一层的输入向量${\mathbf{g}}_i$也以类似方式计算

初始化策略。好的初始化策略可以使得前后向传播时激活函数的输出稳定，即方差比较小。具体策略如下

• 所有嵌入（编码器、解码器词嵌入和位置嵌入）：使用均值为0，标准差为0.1的正态分布初始化
• 输出不直接给到GLU的层：使用均值为0，标准差为$\sqrt{1/n_l}$的正态分布初始化，$n_l$为每个神经元输入连接的个数
• 输出直接给到GLU的层：使用均值为0，标准差为$\sqrt{4/n_l}$的正态分布初始化
• 偏置都初始化为0
• 对某些层使用dropout。假设dropout的保留概率为$p$，则初始化时分布的标准差放大$\sqrt{p}$倍

归一化策略。除去精心设计的初始化策略，归一化是使模型稳定训练的另一种方法。ConvS2S主要是对残差块的输出和注意力的输出做缩放来保持激活结果的不变性

• 对残差块，将输入和输出的和乘以$\sqrt{0.5}$
• 注意力的输入${\mathbf{c}}_i^l$是$m$个向量的加权求和，因此将输出乘以$m\sqrt{1/m}$。其中系数$m$是为了匹配输入的原始大小
• 由于模型使用了多步注意力机制，编码器的梯度要缩小注意力机制数量的倍数（即除以使用注意力的解码器层数），嵌入矩阵除外。这种做法是为了减少编码器接收到的梯度信息，使训练更加平稳

下图给出了ConvS2S的模型架构。在实践中，使用深层，小卷积核（宽度为3）的模型架构效果较好

轻量与动态CNN

FAIR在ICLR 2019提出的工作[wu2019]意在取代Transformer（在后面一章详细介绍）中编码器和解码器使用的自注意力模块。文章提出了两种体系结构，分别是轻量卷积（lightweight convolution）和动态卷积（dynamic convolution）。

轻量卷积

轻量卷积的核心是深度卷积（depthwise convolution）。前面提到过，卷积操作一般都是对所有信道同时计算，即对于$k\times k$，信道数为$D_1$的卷积核，这个卷积核的参数数量为$D_1{k}^2$，同时一般使用$D_2$个卷积核，即对于这样的滤波器，其总参数量为$D_1{D}_2{k}^2$。深度卷积的不同点在于，首先，一个卷积核只看一个信道，其次，输入输出信道数通常保持一致。这样，滤波器的参数数量降低到了$D_1{k}^2$个（对于一维卷积，就是$D_{1}k$个）。轻量卷积的输入$\mathbf{X}\in {\mathbb{R}}^{n\times d}$（$n$为时间步数，$d$为输入输出维度），轻量卷积权重矩阵$\mathbf{W}\in {\mathbb{R}}^{d\times k}$，则对输出$\mathbf{O}\in {\mathbb{R}}^{n\times d}$第$c$维的第$i$个元素有

$$O_{i,c}=\mathrm{D}\mathrm{e}\mathrm{p}\mathrm{t}\mathrm{h}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}(\mathbf{X},{\mathbf{W}}_{c,:},i,c)=\sum _{j=1}^k{W}_{c,j}\cdot X_{(i+j-\lceil \frac{k+1}{2}\rceil ),c}$$

（这里输入两端应该各补了一个pad）

轻量卷积在深度卷积基础上做了两个改进

• 权重共享。轻量卷积进一步削减了模型所需要的的参数数量，让每$d/H$个输出信道共享权重。假设输入信道数$d=1024$，卷积核大小$k=7$，$H=16$，则有
  • 传统卷积参数数量：$d^2\times k=7,340,032$
  • 深度卷积参数数量：$d\times k=7,168$
  • 轻量卷积参数数量：$H\times k=112$
• Softmax归一化。对权重矩阵$\mathbf{W}\in {\mathbb{R}}^{H\times k}$，沿时间维度使用softmax做归一化

$$\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(W{)}_{h,j}=\frac{\exp \{W_{h,j}\}}{{\sum }_{j^{\prime }=1}^k\exp \{W_{h,j^{\prime }}\}}$$

即

$$\mathrm{L}\mathrm{i}\mathrm{g}\mathrm{h}\mathrm{t}\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}(\mathbf{X},{\mathbf{W}}_{\lceil \frac{cH}{d}\rceil ,:},i,c)=\mathrm{D}\mathrm{e}\mathrm{p}\mathrm{t}\mathrm{h}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}(\mathbf{X},\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}({\mathbf{W}}_{\lceil \frac{cH}{d}\rceil ,:}),i,c)$$

下图左给出了使用轻量卷积进行自编码的模型结构示意图。对给定的$d$维输入，先使用一个线性变换将其映射到$2d$维空间，然后使用前述GLU做非线性变换再做轻量卷积操作。卷积的结果再进行一个${\mathbf{W}}^O\in {\mathbb{R}}^{d\times d}$的线性映射。此外，进行轻量卷积时，还使用了DropConnect进行正则化，即在训练阶段对正则化后的权重矩阵，对其每个元素以概率$p$丢弃，然后将矩阵除以$1-p$

由于轻量卷积大幅降低了卷积操作的参数数量，因此可以每一步使用单独的卷积核，即

$$\begin{array}{rl}\mathrm{D}\mathrm{y}\mathrm{n}\mathrm{a}\mathrm{m}\mathrm{i}\mathrm{c}\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}(\mathbf{X},i,c)& =\mathrm{L}\mathrm{i}\mathrm{g}\mathrm{h}\mathrm{t}\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}(\mathbf{X},f({\mathbf{X}}_i{)}_{h,:},i,c)\\ f({\mathbf{X}}_i)& =\sum _{c=1}^d{W}_{h,j,c}^Q{X}_{i,c},{\mathbf{W}}^Q\in {\mathbb{R}}^{H\times k\times d}\end{array}$$

示意图如上图右所示

带有CNN思想的RNN

CNN的设计思想也影响了一些RNN的设计思路，这里主要介绍QuasiRNN[quasirnn]和SRU[sru]

QuasiRNN

QuasiRNN (QRNN) 设计的目标是同时解决RNN并行能力弱和CNN丢失位置信息的问题，其主要由两部分组成，分别为卷积层和池化层。卷积层的作用是提取n-gram特征，设置门控，而池化层的作用则是对门控加以利用

基本结构

假设输入$\mathbf{X}\in {\mathbb{R}}^{T\times n}$，其中$T$是序列长度，$n$是输入向量维度，QNN在卷积层使用$m$个大小为$k$的卷积核，沿时间维度做一维卷积，产生$T\times m$的输出序列。QRNN也使用了掩码操作，在序列的左边补了$k-1$个向量，防止诸如语言模型这样的任务偷看到未来时间步的内容。QRNN使用了三组卷积计算

$$\begin{array}{rl}\mathbf{Z}& =\tanh ({\mathbf{W}}_z\ast \mathbf{X})\\ \mathbf{F}& =\sigma ({\mathbf{W}}_f\ast \mathbf{X})\\ \mathbf{O}& =\sigma ({\mathbf{W}}_o\ast \mathbf{X})\end{array}$$

其中${\mathbf{W}}_z$、${\mathbf{W}}_f$和${\mathbf{W}}_o$均为含$m$个大小为$k$的卷积核的滤波器，$\ast$为卷积操作。当$k=2$时，上述三式与LSTM的计算方式比较像，但原文实验大部分是在字符级任务上进行，因此通常要设较大的$k$

QRNN没有使用传统的最大池或者平均池，而是设计了三种“动态平均池”，与LSTM也有异曲同工之妙，分别为

• f池，仅使用遗忘门：${\mathbf{h}}_t={\mathbf{f}}_t\odot {\mathbf{h}}_{t-1}+(1-{\mathbf{f}}_t)\odot {\mathbf{z}}_t$
• fo池，加入输出门：${\mathbf{c}}_t={\mathbf{f}}_t\odot {\mathbf{c}}_{t-1}+(1-{\mathbf{f}}_t)\odot {\mathbf{z}}_t,{\mathbf{h}}_t={\mathbf{o}}_t\odot {\mathbf{c}}_t$
• ifo池，再加入输入门。输入门的计算方式未在前面做定义，应与输出门计算方式类似。${\mathbf{c}}_t={\mathbf{f}}_t\odot {\mathbf{c}}_{t-1}+{\mathbf{i}}_t\odot {\mathbf{z}}_t,{\mathbf{h}}_t={\mathbf{o}}_t\odot {\mathbf{c}}_t$

其中第一个$\mathbf{h}$或$\mathbf{c}$被初始化为全零向量

变种

基于NLP的研究进展，可以为QRNN引入诸多扩展。

正则化方法 RNN常见的正则化方法有基于变分推断的dropout和zoneout。由于QRNN没有循环连接所用的共享权重，因此不适合使用基于变分推断的方法。作者扩展了zoneout，对池化函数作了修改，对前一个池化状态，随机选择一个信道子集，保留它们不去改变。这也等价于修改QRNN的遗忘门

$$\mathbf{F}=1-\mathrm{d}\mathrm{r}\mathrm{o}\mathrm{p}\mathrm{o}\mathrm{u}\mathrm{t}(1-\sigma ({\mathbf{W}}_f\ast \mathbf{X})))$$

如此实现，就可以不修改池化函数了。此外，在一些实验中，还尝试了在层与层之间加入传统的dropout

稠密连接层 对于句子分类任务，QRNN使用“稠密卷积”效果更佳，即在输入嵌入和所有层，以及各层之间建立连接。这相当于把每一层的输入和输出先沿信道维连接再送往下一层

编码器-解码器模型 QRNN可以做机器翻译任务，可以既用在编码器上也用在解码器上，但是需要对解码器做一些修改，因为直接将编码器最后的隐藏状态（即池化层的输出）送入解码器池化层不会影响该池化层接收的门控结果，进而限制解码器的表示能力。为此，将编码器的最后一个隐藏状态送入解码器各层卷积函数的输出，即先将隐藏状态做一个线性映射，然后将其广播，与卷积操作每一步的结果相加。记${\tilde{\mathbf{h}}}_T^l$为第$l$层编码器的最后状态，对解码器，有

$$\begin{array}{rl}{\mathbf{Z}}^l& =\tanh \left({\mathbf{W}}_z^l\ast {\mathbf{X}}^l+{\mathbf{V}}_z^l{\tilde{\mathbf{h}}}_T^l\right)\\ {\mathbf{F}}^l& =\sigma \left({\mathbf{W}}_f^l\ast {\mathbf{X}}^l+{\mathbf{V}}_f^l{\tilde{\mathbf{h}}}_T^l\right)\\ {\mathbf{O}}^l& =\sigma \left({\mathbf{W}}_o^l\ast {\mathbf{X}}^l+{\mathbf{V}}_o^l{\tilde{\mathbf{h}}}_T^l\right)\end{array}$$

使用编码器最后一层和未经输出门处理的解码器最后一层输出计算注意力得分，然后通过输出门处理。若网络有$L$层，则

$$\begin{array}{rl}{\alpha }_{st}& ={\mathrm{softmax}}_{\mathrm{a}\mathrm{l}\mathrm{l}s}\left({\mathbf{c}}_t^L\cdot {\tilde{\mathbf{h}}}_s^L\right)\\ {\mathbf{k}}_t& =\sum _s{\alpha }_{st}{\tilde{\mathbf{h}}}_s^L\\ {\mathbf{h}}_t^L& ={\mathbf{o}}_t\odot \left({\mathbf{W}}_k{\mathbf{k}}_t+{\mathbf{W}}_c{\mathbf{c}}_t^L\right)\end{array}$$

SRU 另一种结构Simple Recurrent Unit (SRU) [sru]于2018年被独立提出，但是其原理可以看做是卷积核为1且加入high-way连接的QRNN

参考文献

• [bytenet]: Kalchbrenner, N., Espeholt, L., Simonyan, K., Oord, A. V. D., Graves, A., & Kavukcuoglu, K. (2016). Neural machine translation in linear time. arXiv preprint arXiv:1610.10099.
• [convs2s]: Gehring, J., Auli, M., Grangier, D., Yarats, D., & Dauphin, Y. N. (2017, July). Convolutional Sequence to Sequence Learning. In International Conference on Machine Learning (ICML 2017) (pp. 1243-1252).
• [wu2019]: Wu, F., Fan, A., Baevski, A., Dauphin, Y., & Auli, M. (2018, September). Pay Less Attention with Lightweight and Dynamic Convolutions. In International Conference on Learning Representations (ICLR2019).
• [quasirnn]: Bradbury, J., Merity, S., Xiong, C., & Socher, R. (2016). Quasi-recurrent neural networks. arXiv preprint arXiv:1611.01576 (Accepted as an ICLR 2017 poster paper).
• [sru]: Lei, T., Zhang, Y., & Artzi, Y. (2018). Training rnns as fast as cnns.