transformer-Autoregressive Language Models之GPT-1、2、3解析及GPT源码实现

1,Task-aware的人工智能Language model + Pre-training + Fine-tuning时代

2,Decoder-Only Stack数学原理及架构解析

3,训练材料标注:neutral、contradiction、entailment、multi-label、QA等

4,NLP(Natural Language Understanding):Semantic similarity、document classification、textual entailment等

5,大规模Unsupervised pre-training贝叶斯数学原理及架构剖析

6,Task-specific Supervised fine-tuning的Softmax及Loss详解

7,针对Classification、Entailment、Similarity、Mutiple Choice特定任务的Input数据预处理解析及矩阵纬度变化处理

8,GPT2架构解析:Language Models for unsupervised multitask learners

9,GPT 2把Layer Norm前置的数据原理剖析

10,GPT 2 Self-Attention剖析

11,GPT 2 Training数据流动全生命周期解析

12,GPT 2 Inference数据流动全生命周期解析

13,GPT 3 架构剖析:Language Models are Few-Shot Learners

14,由GPT 3引发的NLP12大规律总结

15,GPT数据预处理源码完整实现及调试

16,GPT的BPE实现源码及调试

17,GPT的TextEncoder源码实现及调试

18,GPT的Attention完整源码实现及调试

19,GPT的Layer Normalization完整源码实现及调试

20,GPT的Feed Foward神经网络通过Convolutions源码实现

21,GPT的Block源码完整实现及调试

22,GPT的TransformerModel源码完整实现及调试

23,GPT的输入LMHead源码完整实现及调试

24,GPT的MultipleChoiceHead源码完整实现及调试

25,GPT的语言模型及特定Task的DoubleHeadModel源码完整实现

26,GPT的OpenAIAdam优化器源码及调试

27,GPT的LanguageModel loss源码及调试

28,GPT的MultipleChoiceLoss源码及调试

29,OpenAI GPT的Pretrained Model的加载使用

30,GPT模型Task-specific训练完整源码及调试

31,GPT进行Inference完整源码实现及代码调试

你可能感兴趣的:(transformer,语言模型,神经网络)