GLM: General Language Model Pretrainingwith Autoregressive Blank Infilling翻译理解
GPT(autoregressive)模型是一个自回归模型,利用left-to-right语言模型,由于不是双向attention机制,因此不能再NLU任务中,获取充分的上下文信息,BERT类似自编码(autoencoding),通过MLm任务学习,但是不能直接应用到textgeneration;encoder-deconder模型采用再encoder部分双向attention,在decoder部