NLP-预训练模型-GPT系列：GPT-1(2018-06)、GPT-2(2019-02)、GPT-3(2020-05)、InstuctGPT(2022-01)、chatGPT(2022-11)

 

 GPT1：Imporoving Language Understanding By Generative Pre-training

GPT2：Lanuage Models Are Unsupervised Multitask Learners

GPT3：Language Models Are Few-shot Learners

GitHub：https://github.com/openai/gpt-3

从GPT三个版本的论文名也能看出各版本模型的重点：

• GPT1：强调预训练
• GPT2：强调Unsupervised Multitask就是说下游任务fintune的时候不用重新调整模型结构了
• GPT3：强调Few-shot 就是连finetune都剩了，巨大的参数空间，可以直接few-shot甚至zero-shot

ChatGPT一夜走红，它会成为下一代搜索引擎吗？

[转] GPT、GPT-2到GPT-3概览 - 凌波微步_Arborday - 博客园

广告行业中那些趣事系列20：GPT、GPT-2到GPT-3，你想要的这里都有_数据拾光者的博客-CSDN博客

NLP：NLP领域没有最强，只有更强的模型——GPT-3的简介、安装、使用方法之详细攻略 | 航行学园

GPT-1,GPT-2,GPT-3三兄弟 - 简书

笔记：李沐老师GPT系列讲解 - 知乎

沐神学习笔记：GPT，GPT-2，GPT-3 - 知乎

【NLP】OpenAI GPT算法理解 - 知乎

NLP：NLP领域没有最强，只有更强的模型——GPT-3的简介、安装、使用方法之详细攻略_一个处女座的程序猿的博客-CSDN博客_gpt3使用

GPT-1/GPT-2/GPT-3简介 - 知乎

NLP——Bert与GPT-2的纠葛 - 知乎

Aligning Language Models to Follow Instructions

ChatGPT: Optimizing Language Models for Dialogue

炼丹分享：AI 写网文小说的 GPT 模型（100M参数量），以及一种新采样方法 - 知乎

一文讲明白火爆全网的ChatGPT！ChatGPT是什么？能怎么玩！|人工智能|马斯克|谷歌|chatgpt_网易订阅

OpenAI魔改大模型，参数少100倍！13亿参数InstructGPT碾压GPT-3

这么好玩的ChatGPT，不会只是拿来玩的吧？_澎湃号·湃客_澎湃新闻-The Paper 

OpenAI发布GPT-3的新版本InstructGPT模型， 构建“毒性更低”的AI语言模型 人工智能公司 OpenAI 在去年发布了 GTP-3 语言模型，这一模型可以说是颠覆了 AI 语言模型界的游戏规则，它解... - 雪球

从GPT-1到GPT-4看ChatGPT的崛起