ELECTRA:Efficiently Learning an Encoder that Classifies Token Replacements Accurately
看上去是一个GAN的结构,在生成器的训练中,由于GAN模型在文本上的应用困难,因此,使用的是极大似然的方法。预训练结束后,在下游的应用上,去掉了生成器,仅使用判别器进行微调。生成器部分:softmax函数生成器的输入:生成器的输出:probsTensor("generator_predictions/Softmax:0",shape=(128,19,30522),dtype=float32)模型代