GPT---1234

GPT:《Improving Language Understanding by Generative Pre-Training》       下载地址:https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdficon-default.png?t=N6B9https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf

GPT诞生前,传统NLP模型仍然使用大量数据对模型进行有监督学习。

这种有监督学习任务存在明显缺点:需要大量人工标注数据,耗时且昂贵;泛化性和可迁移性差。

这篇论文提出一种两阶段的自(文中写的是半)监督训练方法&#

你可能感兴趣的:(AI论文精读--李沐,gpt)