【机器学习案例5】语言建模 - 最常见的预训练任务一览表

自监督学习 (SSL) 是基于 Transformer 的预训练语言模型的支柱，该范例涉及解决有助于建模自然语言的预训练任务 (PT)。本文将所有流行的预训练任务放在一起，以便我们一目了然地评估它们。

SSL 中的损失函数

这里的损失函数只是模型训练的各个预训练任务损失的加权和。

以BERT为例，损失将是MLM（Masked Language Modelling）和NSP（Next Sentence Prediction）的加权和

多年来，出现了许多解决特定问题的预训练任务。我们将回顾 10 个有趣且流行的函数及其相应的损失函数：

1. 因果语言建模（CLM）
2. 掩码语言建模（MLM）
3. 替换令牌检测 ( RTD )
4. 洗牌令牌检测（STD）
5. 随机代币替换（RTS）
6. 交换语言建模 ( SLM)
7. 翻译语言建模（TLM