第4章: Autoregressive Language Models之GPT-1、2、3解析及GPT源码实现
1，Task-aware的人工智能Language model + Pre-training + Fine-tuning时代
2，Decoder-Only Stack数学原理及架构解析
3，训练材料标注：neutral、contradiction、entailment、multi-label、QA等
4，NLP(Natural Language Understanding)：Semantic similarity、document classification、textual entailment等
5，大规模Unsupervised pre-training贝叶斯数学原理及架构剖析
6，Task-specific Supervised fine-tuning的Softmax及Loss详解
7，针对Classification、Entailment、Similarity、Mutiple Choice特定任务的Input数据预处理解析及矩阵纬度变化处理
8，GPT2架构解析：Language Models for unsupervised multitask learners
9，GPT 2把Layer Norm前置的数据原理剖析
10，GPT 2 Self-Attention剖析
11，GPT 2 Training数据流动全生命周期解析
12，GPT 2 Inference数据流动全生命周期解析
13，GPT 3 架构剖析：Language Models are Few-Shot Learners
14，由GPT 3引发的NLP12大规律总结
15，GPT数据预处理源码完整实现及调试
16，GPT的BPE实现源码及调试
17，GPT的TextEncoder源码实现及调试
18，GPT的Attention完整源码实现及调试
19，GPT的Layer Normalization完整源码实现及调试
20，GPT的Feed Foward神经网络通过Convolutions源码实现
21，GPT的Block源码完整实现及调试
22，GPT的TransformerModel源码完整实现及调试
23，GPT的输入LMHead源码完整实现及调试
24，GPT的MultipleChoiceHead源码完整实现及调试
25，GPT的语言模型及特定Task的DoubleHeadModel源码完整实现
26，GPT的OpenAIAdam优化器源码及调试
27，GPT的LanguageModel loss源码及调试
28，GPT的MultipleChoiceLoss源码及调试
29，OpenAI GPT的Pretrained Model的加载使用
30，GPT模型Task-specific训练完整源码及调试
31，GPT进行Inference完整源码实现及代码调试