Transformer-XL

简介

Transformer智能学习具有固定长度内容的建模局限性，新网络Transformer-XL（超长）包含片段级递归机制和新颖的位置编码机制，从而捕获长期依赖性。
Transformer-XL引入递归机制，重用之前片段中获得的隐藏状态，而不是每次都要从头开始计算每个片段的隐藏状态。重用的隐藏状态当作当前片段的存储器，构成前一片段和当前片段的连接。
除了使用前片段的隐藏状态，Transformer-XL还使用相对位置编码，而不是绝对位置编码，这是因为不引起时间混淆情况下重用状态。
因此，Transformer-XL能够获得更多的相对有效上下文长度（Relative Effective Context Length，RECL）。

1.模型

给定$\mathbf{x}=(x_1,...,x_T)$,联合概率$P(\mathbf{x})={\prod }_{t}P(x_t|{\mathbf{x}}_{<t})$,

一种vanilla model是，先把语料分割为很多个片段，每个片段都没有信息交叉（如上图左）。评估阶段就每次移动一个位置。

Transformer-XL 模型结构是这样，

计算公式：
SG(·)代表stop-gradient。$[{\mathbf{h}}_u\circ {\mathbf{h}}_v]$代表两个片段的拼接。

---

reference：

1. 谷歌、CMU重磅论文：Transformer升级版
2. 源代码