【论文阅读笔记】Linguistic Knowledge and Transferability of Contextual Representations

本文发布在arxiv 2019 preprint

        通过十六种不同的探究任务来研究语境化知识和语境化词语表示的可迁移性。预训练的上下文相关词向量足以在广泛的NLP任务中实现高性能。对于需要特定信息但未被上下文单词表示捕获的任务，学习特定任务的上下文特征有助于在词向量中编码必要的知识。此外，对情境化层的可迁移性模式的分析表明，LSTM的最低层编码最具可迁移的特征，而Transoformer的中间层是最具可迁移性的。LSTM中的更高层更具有任务特定性（因而不那么一般），而Transformer在没有表现出同样的单调增长。先前的工作已经表明，更高级别的上下文层可以明确地编码更高级别的语义信息。相反，似乎某些高级语义现象对情境化的前期任务非常有用，导致他们出现在更高层。最后，双向语言模型预训练产生的表示通常比11个其他可以执行的预训练任务更易于迁移。