[文献阅读]——AMBERT: A PRE-TRAINED LANGUAGE MODEL WITH MULTI-GRAINED TOKENIZATION

引言

细粒度方法和粗粒度方法各自的优缺点:

• 细粒度:
  • 作为词汇单元是不完整的
  • 但更容易去学习（更少的token types和更多的tokens）
  • 不存在分词的错误
• 粗粒度:
  • 作为词汇单元是完整的
  • 但不容易去学习（更多的token types和更少的tokens）
  • 存在分词的错误

本文通过可视化attention maps表明：

• 细粒度的方法得到的attention存在“含糊”
• 粗粒度的方法得到的attention更加合理，但分词错误不可避免

本文工作:

• 联合细粒度和粗粒度

相关工作

• -------BERT的变种--------
• XLNET:permutation LM
• RoBERTa:new way of training + large data
• ALBERT:light-weight
• StructBERT:incorporate word and sentence structures
• ERNIE2.0:coarse-grained tokens masked
• ELECTRA:GAN-style
• -------分词的粒度(single)--------
• ERNIE:entity level mask
• SpanBERT:span mask
• -------参数共享--------
• Universal Transformer
• ALBERT

模型

图1. AMBERT

两个encoder共享参数。

预训练

预训练损失函数:

• fine-grained prediction
• coarse-grained prediction
  

数据集:

• Chinese
  • fine-grained:就是character
  • coarse:word segmentation tool developed at ByteDance
  • 分词都是用WordPiece embeddings（？）
• English
  • fine-grained:就是word
  • coarse:
• C vs E:Chinese中，coarse word占了47.0%；English中，coarse phrase占了13.7%。

微调

微调损失函数(分类任务):

• 细粒度输出所对应的预测损失
• 粗粒度输出所对应的预测损失
• 两者输出合并所对应的预测损失
• 细和粗的差别惩罚项

两个变体

• AMBERT-Combo:两个encoder不共享参数
• AMBERT-Hybrid:和original AMBERT不同之处在于，一个encoder，且只用一次，该encoder的输出端就是fine-grained和coarse-grained inps的concatenation
  

实验

多种任务:

• 分类任务
• 阅读理解任务(MRC)：评估指标为F1，EM(Exact Match)和accuracy

目前不太明白AMBERT怎么做token级别的分类任务

样例分析:

• 细粒度的模型无法运用完整的词法单元
• 粗粒度的模型无法解决不正确的分词
• AMBERT既可以运用完整的词法单元，其对于不正确的分词也是鲁棒的

变体分析:

1. AMBERT VS COMBO
   通过计算粗粒度和细粒度的[cls]的相似度发现，AMBERT的相似度远远高于COMBO的
2. AMBERT VS HYBRID
   通过第一层的attention权重发现，AMBERT-Hybrid的细粒度token过分关注于粗粒度token，而AMBERT联合了完整的细粒度和粗粒度的信息

图2. attention maps

拓展阅读

混合精度训练
ADAM