论文笔记--STRUCTBERT: INCORPORATING LANGUAGE STRUCTURES INTO PRE-TRAINING FOR DEEP LANGUAGE UNDERSTANDIN

1. 文章简介

• 标题：STRUCTBERT: INCORPORATING LANGUAGE STRUCTURES INTO PRE-TRAINING FOR DEEP LANGUAGE UNDERSTANDING
• 作者：Wei Wang, Bin Bi, Ming Yan, Chen Wu, Zuyi Bao, Jiangnan Xia, Liwei Peng, Luo Si
• 日期：2019
• 期刊：arxiv preprint

2. 文章概括

  文章提出了StructBERT，一种将语言结构融入于训练任务中的BERT[1]系列模型。为此，文章提出了两种训练目标：单词级别的训练目标和句子级别的训练目标。实验表明，StructBERT在包括情感分类、语义相似度分析、问答和自然语言推断等任务上均达到了SOTA。
  文章的整体架构如下

3 文章重点技术

3.1 单词结构目标

  文章任务，原始的BERT模型不能显式的对单词顺序或者单词的高级依赖进行建模。给定一个序列的单词的随机顺序，一个好的语言模型应该可以从这些无序的单词中重构出原始的单词顺序。
  StructBERT给定的单词结构目标为：给定token的随机排序，我们要最大化将每个token放回到正确位置的似然函数，即$$\underset{\theta }{\mathrm{argmax}}\sum \log P(po{s}_1=t_1,\dots ,po{s}_K=t_K|t_1,\dots ,t_K,\theta )$$，其中$\theta$为模型的参数，$K$表示打乱的单词序列的长度，$t_i(i=1,\dots ,K)$表示待归位的token。$K$越大，模型要重新排序更长的句子，干扰项也越多；$K$越小，干扰项越少，但模型复原长文本的能力也越弱。文章选择使用$K=3$来增强模型的重构句子能力和鲁棒性。
  如上图所示，文章将BERT的MLM（Masked Language Model)目标和上述重构目标结合训练模型。举个例子，源句为"I need a blanket to cover the poor sheep"，首先我们随机掩码词库中的15%的单词，假设blanket在词库中，则输入变为"I need a [MASK] to cover the poor sheep"，然后随机抽取三元组"the poor sheep"并将其打乱为’the sheep poor"，最终输入到模型的input为"I need a [MASK] to cover the sheep poor"，期望模型给出的输出为"blanket, ,the, poor, sheep"4个token。

3.2 句子结构任务

  类似BERT的NSP任务，StructBERT希望给出可以学习到句子结构的训练目标。如上图所示，对任意句子$S_1$，我们在1/3时间选择$S_1$的下一句话作为$S_2$，1/3时间选择$S_1$的上一句话作为$S_2$，1/3时间随机从其它文档中采样一句话作为$S_2$。然后我们将$(S_1,S_2)$用[SEP]分隔输入StructBERT，训练一个三分类任务（前一句 or 后一句 or 其它文档）

4. 文章亮点

  文章通过单词级别和句子级别的语言结构预测任务训练得到了InstructBERT模型，模型在实验的下游任务上几乎均达到了SOTA水平，如下表所示。类似文章的思想，如果我们可以找到其它方式更好地将语言结构作为目标训练模型，我们或许可以得到更强大BERT系列模型。

5. 原文传送门

STRUCTBERT: INCORPORATING LANGUAGE STRUCTURES INTO PRE-TRAINING FOR DEEP LANGUAGE UNDERSTANDING

6. References

[1] 论文笔记–BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding