LLM-202210:GLM【开源双语预训练语言模型】

《GLM: General Language Model Pretraining with Autoregressive Blank Infilling》

 

《GLM-130B: An open bilingual pre-trained model》

LLM-202210:GLM【开源双语预训练语言模型】_第1张图片

LLM-202210:GLM【开源双语预训练语言模型】_第2张图片

一、简介

已经有各种类型的预训练架构,包括自编码模型(如BERT),自回归模型(如GPT),以及编码器-解码器模型(如T5)。然而,没有一个预训练框架对包括自然语言理解(NLU)、无条件生成和有条件生成在内的三个主要类别的所有任务表现最好。我们提出了一个基于自回归空白填充的通用语言模型(GLM&#

你可能感兴趣的:(#,LLM/经典模型,语言模型,人工智能,自然语言处理)