GPT原始论文:Improving Language Understanding by Generative Pre-Training论文翻译
1摘要自然语理解包括文本蕴含、问题回答、语义相似性评估和文档分类等一系列多样化的任务。尽管大量未标注的文本语料库很丰富,但用于学习这些特定任务的标注数据却很稀缺,这使得基于区分性训练的模型难以充分发挥作用。我们展示了通过在多样化的未标注文本语料库上对语言模型进行生成式预训练,随后对每个特定任务进行区分性微调,可以实现这些任务的大幅度改进。与以往的方法不同,我们在微调过程中使用了任务感知的输入转换,