论文阅读——Mockingjay: unsupervised speech representation learning

《Mockingjay: Unsupervised Speech Representation Learning with Deep Bidirectional Transformer Encoders》

原文地址：https://arxiv.org/abs/1910.12638v2

---

摘要

文章提出了一种新的语音表示学习方法——Mockingjay。该方法使用双向的Transformer Encoder在大规模无标签数据集上预训练，它是根据过去（past）和未来（future）的帧来共同预测当前的帧。通过这个方法得到的语音表示广泛地提高了下游任务的表现，例如音素分类、语音识别、基于语音的情感分析等。除此之外，实验证明用Mockingjay方法进行预训练，然后再用其他下游任务进行微调，能够极大得提高表现。

 

引入

Speech Representation Learning的目的就是找到一种语音表示方法（就像词向量是为了找到一种词的表示方法），文章提出了Mockingjay方法。Mockingjay使用多层transformer encoders和multi-head self-attention，构成双向encoder；而为了进行无监督预训练，文章还提出了Masked Acoustic Model(MAM)任务，Mockingjay通过完成该任务来得到语音表示。而Mockingjay这个词本身指的是一种鸟，它能够模仿人发出的声音。

 

MOCKINGJAY

Mask Acoustic Modeling

mask acoustic modeling任务预训练方法如下图所示。MAM选择15%