NLP 自古以来的各预训练模型 (PTMs) 和预训练任务小结

目前写了预训练模型与任务的大致分类，还未将具体原理总结。持续更新ing。

⏰ 早期的PTMs在模型结构上做的尝试比较多，transformers出现后，研究者们研究的重点就从模型结构转移到了训练任务与策略上。

⭐ PTMSs优势在于：
1、大量的无标注数据进行预训练，降低人工标注成本。
2、为模型提供一个初始化参数，在下游任务上更快收敛、泛化性能更好。
3、也是一种有效的正则化手段，避免在下游任务的小规模数据集上过拟合。

导航：

ID	算法
NO.1	1、PTMs的两大范式 (浅层词嵌入、预训练编码器)
NO.2	2 PTMs的分类 (基于上下文的预训练、基于对比的预训练)

1 PTMs的两大范式

⭐ 浅层词嵌入、预训练编码器。

1.1 浅层词嵌入

⭐代表&