CCF-NLP走进高校(郑州大学)

观看网址：https://www.yanxishe.com/events/ccf-nlp-zzu

（一）分享主题：预训练模型在多语言、多模态任务的进展——周明

pre-trained model:A new paradigm of NLP

大规模语料库（Large-scale Corpus）训练一个通用的预训练模型，这是属于上游任务。针对不同的工作，模型借助标注数据再discirminative(判别式)训练出新的模型符合具体业务需求，属于微调（Fine-tuning）。

Pre-training stage:learn task-agnostic general knowledge from large-scale corpus by self-supervised learning.（预训练阶段：通过自监督学习从大规模语料库中学习与任务无关的常识。）

Fine-tuning stage:transfer learnt knowledge to downstream tasks by discriminative training.（微调阶段：通过判别训练将学到的知识转移到下游任务中。）

(1)Transformer

(2)自监督训练是一种非监督的形式，没有标注语料，根据自身文本的特点进行训练。

Self-supervised learning is a form of unsupervised learning where the data itself provides the supervision.（自我监督学习是一种非监督学习的形式，其中数据本身提供了监督。）

自监督可以通过Autoregressive Langusge Model(AR LM)或者Auto-encoding(AE)实现。

(3)预训练

一次多义的情况Word2Vec无法判定，后面都是结合上下文改进可以识别一词多义。

GPT3适合生成。XLM是多语言的。