第12章：NLP比赛的明星模型RoBERTa架构剖析及完整源码实现

1，为什么说BERT模型本身的训练是不充分甚至是不科学的？

2，RoBERTa去掉NSP任务的数学原理分析

3，抛弃了token_type_ids的RoBERTa

4，更大的mini-batches在面对海量的数据训练时是有效的数学原理解析

5，为何更大的Learning rates在大规模数据上会更有效？

6，由RoBERTa对hyperparameters调优的数学依据

7，RoBERTa下的byte-level BPE数学原理及工程实践

6，RobertaTokenizer源码完整实现详解

7，RoBERTa的Embeddings源码完整实现

8，RoBERTa的Attention源码完整实现

9，RoBERTa的Self-Attention源码完整实现

10，RoBERTa的Intermediate源码完整实现

11，RobertLayer源码完整实现

12，RobertEncoder源码完整实现

13，RoBERTa的Pooling机制源码完整实现

14，RoBERTa的Output层源码完整实现

15，RoBERTa Pre-trained model源码完整实现

16，RobertaModel源码完整实现详解

17，实现Causal LM完整源码讲解

18，RoBERTa中实现Masked LM完整源码详解

19，RobertLMHead源码完整实现

20，RoBERTa实现Sequence Classification完整源码详解

21，RoBERTa实现Token Classification完整源码详解

22，RoBERTa实现Multiple Choice完整源码详解

23，RoBERTa实现Question Answering完整源码详解