NLP之transformer -Task01

常见的NLP任务

本教程将NLP任务划分为4个大类：1、文本分类， 2、序列标注，3、问答任务——抽取式问答和多选问答，4、生成任务——语言模型、机器翻译和摘要生成。

文本分类：对单个、两个或者多段文本进行分类。举例：“这个教程真棒！”这段文本的情感倾向是正向的，“我在学习transformer”和“如何学习transformer”这两段文本是相似的。

序列标注：对文本序列中的token、字或者词进行分类。举例：“我在国家图书馆学transformer。”这段文本中的国家图书馆是一个地点，可以被标注出来方便机器对文本的理解。

问答任务——抽取式问答和多选问答：1、抽取式问答根据问题从一段给定的文本中找到答案，答案必须是给定文本的一小段文字。举例：问题“小学要读多久?”和一段文本“小学教育一般是六年制。”，则答案是“六年”。2、多选式问答，从多个选项中选出一个正确答案。举例：“以下哪个模型结构在问答中效果最好？“和4个选项”A、MLP，B、cnn，C、lstm，D、transformer“，则答案选项是D。

生成任务——语言模型、机器翻译和摘要生成：根据已有的一段文字生成（generate）一个字通常叫做语言模型，根据一大段文字生成一小段总结性文字通常叫做摘要生成，将源语言比如中文句子翻译成目标语言比如英语通常叫做机器翻译。

以上学习链接基于该篇文章，非常感谢datawhale的帮助。

------------------------------------------------------------------

本文章是参考该篇文章进行理解的，链接：2021年如何科学的“微调”预训练模型？

1.什么是微调？

（1）就是对模型参数“微微”调整。、

（2）如果是随机初始化并从头开始训练网络则！=“微调”。

（3）因此常规的“微调”通常也使用更小的learning rate对模型进行训练。

   (4)上面的“微调”示意图也告诉我们，任何模型结构都可以进行微调，包括不限于：Transformer、CNN、LSTM等。

自己理解：那也就是说，所谓的微调，可以理解为在深度学习的参数上，比如迭代次数，学习率，神经元，隐藏层上调整，但是不能太多，因为是微调。

2.什么是预训练？

图1 引用动手学深度学习中的Fine-tune示意图  

如图1所示，只要Target model中的全部/部分参数在见到Target data之前被训练过，其实都可以叫做“预训练”。

预训练方法包括但不限于：语言模型无监督预训练（BERT），目标类似的其他数据集预训练，目标不类似但相关的其他数据集预训练等。

NLP里常见的训练目标：句子分类、句子相似判断、实体识别、阅读理解（start、end token预测）、语言模型等。

3.微调”预训练模型

由于现在并还没深入了解到bert,等到之后深入了解再总结更多~