第10章: 明星级轻量级高效Transformer模型ELECTRA: 采用Generator-Discriminator的Text Encoders解析及ELECTRA模型源码完整实现

1，GAN：Generative Model和Discriminative Model架构解析

2，为什么说ELECTRA是NLP领域轻量级训练模型明星级别的Model？

3，使用replaced token detection机制规避BERT中的MLM的众多问题解析

4，以Generator-Discriminator实现的ELECTRA预训练架构解析

5，ELECTRTA和GAN的在数据处理、梯度传播等五大区别

6，ELECTRA数据训练全生命周期数据流

7，以Discriminator实现Fine-tuning架构解析

8，ELECTRA的Generator数学机制及内部实现详解

9，Generator的Loss数学机制及实现详解

10，Discriminator的Loss数学机制及实现详解

11，Generator和Discriminator共享Embeddings数据原理解析

12，Discriminator网络要大于Generator网络数学原理及工程架构

13，Two-Stage Training和GAN-style Training实验及效果比较

14，ELECTRA数据预处理源码实现及测试

15，Tokenization源码完整实现及测试

16，Embeddings源码实现

17，Attention源码实现

18，借助Bert Model实现Transformer通用部分源码完整实现

19，ELECTRA Generator源码实现

20，ELECTRA Discriminator源码实现

21，Generator和Discriminator相结合源码实现及测试

22，pre-training训练过程源码完整实现

23，pre-training数据全流程调试分析

24，聚集于Discriminator的ELECTRA的fine-tuning源码完整实现

25，fine-tuning数据流调试解析

26，ELECTRA引发Streaming Computations在Transformer中的应用思考