预训练模型

1. ELMO：
   https://www.cnblogs.com/huangyc/p/9860430.html
   ELMo是一种是基于特征的语言模型，用预训练好的语言模型，生成更好的特征。而ELMo的主要做法是先训练一个完整的语言模型，再用这个语言模型去处理需要训练的文本，生成相应的词向量。
   文本分类实战（九）—— ELMO 预训练模型
   https://www.cnblogs.com/jiangxinyang/p/10235054.html
   
   
   在NLP领域，使用预训练模型或组件的监督学习任务被称为下游任务
2. BERT:
   http://www.sohu.com/a/281795578_473283
   https://blog.csdn.net/qq_39521554/article/details/83062188
   [NLP自然语言处理]谷歌BERT模型深度解析
   基于自然语言的连贯性，语言模型根据前文的词，预测下一个将出现的词。如果语言模型的参数正确，如果每个词的词向量设置正确，那么语言模型的预测，就应该比较准确。天下文章，数不胜数，所以训练数据，取之不尽用之不竭。
   NLP必读 | 十分钟读懂谷歌BERT模型
   https://www.jianshu.com/p/4dbdb5ab959b?from=singlemessage
   
3. GPT: