XLNet原理介绍

1. 引言

前面介绍了ELMo、BERT、CSE等语言模型，这些语言模型在很多下游NLP任务上都取得了不错的成绩，根据他们的目标函数和模型的结构，可以大致将这些模型分为两大类，即自回归模型（autoregressive，AR）和自编码模型（autoencoding，AE）。对于给定的一个文本序列$\mathbf{x}=\left(x_1,\cdots ,x_T\right)$，AR模型主要是通过每个token的前文或后文进行预测，最后将每个时间步的概率进行连乘作为模型的目标函数，即$p(\mathbf{x})={\prod }_{t=1}^{T}p\left(x_t|{\mathbf{x}}_{<t}\right)$或者$p(\mathbf{x})={\prod }_{t=T}^{1}p\left(x_t|\mathbf{x}>t\right)$，比如ELMo模型、CSE模型、Transformer XL模型等。而AE模型则通过对原句子进行破坏，并希望通过模型来对原句子进行重建，比如BERT模型，通过随机选择15%的tokens进行mask，然后希望模型将这部分被mask掉的token重新预测出来。

对于这两种类型的模型，其实都有各自的优缺点，AR模型由于只考虑单向的文本信息，忽略了很多文本任务需要综合双向的上下文信息的事实。而AE模型虽然考虑了双向的上下文信息，但是由于在预训练时，对预测词汇替换为[MASK]，而[MASK]这个特殊词汇在下游NLP任务中是不会真实存在的，因此，会导致预训练和fine-tuning阶段存在差异。另一方面，BERT假设被预测的词汇之间是独立的，这明显有悖于语言的长依赖特性。

因此，为了克服AR模型和AE模型的缺点，2019年CMU和谷歌大脑提出了一个新的语言模型，即XLNet，该模型通过引入随机排序的思想，充分发挥了AR模型和AE模型的优点。

• 论文地址：《XLNet: Generalized Autoregressive Pretraining for Language Understanding》

2. XLNet原理介绍

2.1 Permutation Language Modeling

XLNet通过随机排序的思想，来解决AR模型无法引入双向文本信息的缺点，对于一个长度为$T$的序列$x$，其排列的方式有$T!$种，因此，当模型从不同的排序中进行学习时，将可以学到双向的文本信息。令${\mathcal{Z}}_T$表示长度为$T$的序列的所有排列方式的集合，$z_t$、$\mathbf{z}<t$表示排列$\mathbf{z}\in {\mathcal{Z}}_T$的第$t$个元素和前$t-1$个元素。则此时XLNet的目标函数表达如下：
$$\underset{\theta }{\max }{\mathbb{E}}_{\mathbf{z}\sim {\mathcal{Z}}_T}\left[\sum _{t=1}^T\log p_{\theta }\left(x_{z_t}|{\mathbf{x}}_{\mathbf{z}<t}\right)\right]$$

需要注意的是，此时的随机排序只是对序列中每个位置的序号进行随机排序，排序后，每个词汇前面的词汇都可以用于预测其概率，这里前面的词汇可能来自于原句子中当前词汇前面的词汇，也可能来自其后面的词汇，因此，相当于看到了双向的序列信息。

如下图所示，假设对于原始的顺序[1,2,3,4]，随机排列后变成[3,2,4,1]，则此时在计算3的概率时，是看不到[2,4,1]的信息的，但是在预测2时，则可以看到3的信息，在实际的计算中，通过mask的技巧来表现这种随机排列的顺序。

2.2 Two-Stream Self-Attention

但是，如果只是通过随机排序，然后利用Transformer进行训练，则会出现一个目标模糊的问题。可以来看一个例子，假设我们现在要计算第$t$个位置的概率$p_{\theta }\left(X_{z_t}|{\mathbf{x}}_{\mathbf{z}<t}\right)$，其表达式如下：
$$p_{\theta }(X_{z_t}=x|{\mathbf{x}}_{\mathbf{z}<t})=\frac{\exp \left(e(x{)}^{\top }{h}_{\theta }\left({\mathbf{x}}_{\mathbf{z}}<t\right)\right)}{{\sum }_{x^{\prime }}\exp \left(e{\left(x^{\prime }\right)}^{\top }{h}_{\theta }\left({\mathbf{x}}_{\mathbf{z}}<t\right)\right)}$$

其中，$h_{\theta }\left({\mathbf{x}}_{{\mathbf{z}}_{<}t}\right)$表示Transformer计算得到的${\mathbf{X}}_{\mathbf{Z}<t}$隐藏向量，$e(x)$表示词汇的embedding向量，此时，$h_{\theta }\left({\mathbf{x}}_{{\mathbf{z}}_{<}t}\right)$包含的是前面$t-1$个位置的序列信息，与要预测的$t$位置独立，假设此时有两个不同的排序${\mathbf{z}}^{(1)}$和${\mathbf{z}}^{(2)}$，满足以下的关系：
$${\mathbf{z}}_{<t}^{(1)}={\mathbf{z}}_{<t}^{(2)}={\mathbf{z}}_{<t}\text{ but }{z}_t^{(1)}=i̸=j=z_t^{(2)}$$

也就是说两个排序前$t-1$个位置完全一样，但是第$t$个位置不一样，那么，此时对$t$时刻计算概率分布时，有：
$$\underset{z_t^{(1)}=i,{\mathbf{z}}_{<t}^{(1)}=\mathbf{z}<t}{p_{\theta }\left(X_i=x|{\mathbf{x}}_{\mathbf{z}<t}\right)}=\underset{z_t^{(1)}=j,{\mathbf{z}}_{<t}^{(2)}=\mathbf{z}<t}{p_{\theta }\left(X_j=x|{\mathbf{x}}_{\mathbf{z}<t}\right)}=\frac{\exp \left(e(x{)}^{\top }h\left({\mathbf{x}}_{\mathbf{z}<t}\right)\right)}{{\sum }_{x^{\prime }}\exp \left(e{\left(x^{\prime }\right)}^{\top }h\left({\mathbf{x}}_{\mathbf{z}<t}\right)\right)}$$

即原本序列中第$i$和第$j$个位置此时预测出来的结果会完全一致，这就会导致模型的目标变得模糊不清，没法收敛，为了克服这个问题，应该让目标函数也包含$t$时刻的位置信息，因此，可以将目标函数改为如下：
$$p_{\theta }\left(X_{z_t}=x|{\mathbf{x}}_{z_{<t}}\right)=\frac{\exp \left(e(x{)}^{\top }{g}_{\theta }\left({\mathbf{x}}_{\mathbf{z}<t},z_t\right)\right)}{{\sum }_{x^{\prime }}\exp \left(e{\left(x^{\prime }\right)}^{\top }{g}_{\theta }\left({\mathbf{x}}_{\mathbf{z}<t},z_t\right)\right)}$$

其中，$g_{\theta }\left({\mathbf{x}}_{\mathbf{z}<t},z_t\right)$是一种新的计算，引入了$z_t$作为输入。

但是，$g_{\theta }\left({\mathbf{x}}_{\mathbf{z}<t},z_t\right)$具体应该怎么计算呢？当我们预测$x_{z_t}$时，$g_{\theta }\left({\mathbf{x}}_{\mathbf{z}<t},z_t\right)$应该包含位置$z_t$的信息，但是不能包含$x_{z_t}$的内容信息，当预测$x_{z_j}$，其中$j>t$时，此时$g_{\theta }\left({\mathbf{x}}_{\mathbf{z}<t},z_t\right)$可以包含$x_{z_t}$的内容信息。为了解决这个问题，作者在Transformer的每个位置采用了两个隐藏向量来表示，即Two-Stream Self-Attention。具体如下：

• content representation $h_{\theta }\left({\mathbf{x}}_{{\mathbf{z}}_{\le }t}\right)$：简写为$h_{z_t}$，这个隐藏向量的计算方式与原先Transformer的隐藏向量的计算方式一致，不仅包含了上下文信息，也包含了词汇$x_{x_t}$本身的内容信息。
• query representation $g_{\theta }\left({\mathbf{x}}_{\mathbf{z}<t},z_t\right)$：简写为$g_{z_t}$，这个隐藏向量的计算则只包含了上下文信息${\mathbf{x}}_{\mathbf{z}<t}$和位置信息$z_t$，但是不包含$x_{x_t}$本身的内容信息。

在计算时，对于query stream的第一层，采用可训练的参数进行初始化，即$g_i^{(0)}=w$，对于content stream的第一层，则直接采用embedding进行初始化，即$h_i^{(0)}=e\left(x_i\right)$，对于每一层注意力的计算，两个stream的计算方式分别如下：

其中，Q,K,V同Transformer中的query、key、value，作者在实际训练时采用的是Transformer XL的结构。需要注意的是，这里两个stream其实参数都是共享的，只是两者的输入和mask稍微不一致，其实content stream本质只是其一个辅助计算作用，为了便于计算而已。在最后计算概率时，用最后一层的$g_{z_t}^{(M)}$进行计算。

2.3 Partial Prediction

在实际的训练过程中，由于随机排列的原因，模型的收敛速度会非常慢，因此，为了提高模型预训练的速度，作者采用了局部预测的方法，即将目标序列随机选取一个切分点$c$切分为两段，分别为$z_{\le c}$（non-target subsequence）和$z_{>c}$（target subsequence），然后只对target subsequence计算目标函数：
$$\underset{\theta }{\max }{\mathbb{E}}_{\mathbf{z}\sim {\mathcal{Z}}_T}\left[\log p_{\theta }\left({\mathbf{x}}_{{\mathbf{z}}_{>c}}|{\mathbf{x}}_{{\mathbf{z}}_{\le c}}\right)\right]={\mathbb{E}}_{\mathbf{z}\sim {\mathcal{Z}}_T}\left[\sum _{t=c+1}^{|\mathbf{z}|}\log p_{\theta }\left(x_{z_t}|{\mathbf{x}}_{\mathbf{z}<t}\right)\right]$$

也就是说只选取1$/K$的词汇进行局部预测，其中$|\mathbf{z}|/(|\mathbf{z}|-c)\approx K$，对于non-target subsequence，则只需计算其content stream即可，这样可以节省计算和存储。

2.4 Transformer-XL

由于XLNet的结构采用的Transformer XL，所以对于双流注意力的实际计算与Transformer还是有一些不同，之所以选择Transformer XL这种恶心的结构，主要原因还是因为Transformer XL就是作者们提出来的。不失一般性，假设一个长句$s$可以切分为两个子句$\tilde{\mathbf{x}}={\mathbf{s}}_{1:T}$，$\mathbf{x}={\mathbf{s}}_{T+1:2T}$，$\tilde{\mathbf{z}}$和$z$分别表示$[1\cdots T]$和$[T+1\cdots 2T]$的一种排序，基于排序$\tilde{\mathbf{z}}$，我们可以获得一个子句每一层$m$的content representations ${\tilde{\mathbf{h}}}^{(m)}$，将其传递给下一个子句，则下一个子句的content representations的计算如下：
$$h_{z_t}^{(m)}\leftarrow \text{ Attention }\left(\mathrm{Q}=h_{z_t}^{(m-1)},\mathrm{K}\mathrm{V}=\left[{\tilde{\mathbf{h}}}^{(m-1)},{\mathbf{h}}_{{\mathbf{z}}_{\le t}}^{(m-1)}\right];\theta \right)$$

具体的计算过程如下图所示：

query stream的计算也类似，具体的计算过程如下：

2.5 Relative Segment Encodings

由于很多下游NLP任务中都包含了多个句子的情况，比如问答任务，因此，XLNet也同BERT一样引入了Segment Encodings。在训练过程中，随机选择两个句子仅拼接，拼接的形式如下[A, SEP, B, SEP, CLS]，然后作为模型的输入，两个句子可能是上下文的关系，也可能完全不是上下文的关系，不过只有属于上下文关系时，上一个句子的各层的输出才能流入到下一个句子的计算中，作者在实验中也尝试像BERT一样在目标函数中加入next sentence预测，但是发现并没有什么效果，所以在XLNet-Large中直接取消了这个操作。

由于作者采用的是Transformer XL的结构，因此，在Segment Encoding时，也同样采用了相对Segment Encoding的方法，即给定一对$i,j$，在原来注意力的计算基础上，添加下面一项：
$$a_{ij}={\left({\mathbf{q}}_i+\mathbf{b}\right)}^{\top }{\mathbf{s}}_{ij}$$

其中，$q_i$表示query vector，$b$是一个可训练的向量，s_{i,j}也是来自于两个可训练的向量$s_{+}$和$s_{-}$，当$i,j$来自于同一个segment时，则${\mathbf{s}}_{ij}={\mathbf{s}}_{+}$，否则，${\mathbf{s}}_{ij}={\mathbf{s}}_{-}$

3. 总结

以上就是XLNet的介绍，整体来看是非常恶心的，因此在Transformer XL的机构上引入了随机排列和双流注意力机制，因此，使得整个模型变得非常复杂。但是也正是因为XLNet充分发挥了BERT和AR模型的优点，因此导致其性能必定超越BERT，成为刷榜的新神器。总结一下：

• XLNet利用随机排列的思想，使得模型可以考虑文本序列的双向信息，因此，比普遍的AR模型要更强。
• XLNet的目标函数采用的AR模型的目标函数，因此，不需要像BERT那样采用MASK字符，因此，避免了预训练和训练阶段的模型差异，也剔除了被MASK词汇之间互相独立的强假设。