【大语言模型基础】GPT(Generative Pre-training )生成式无监督预训练模型原理
前言ELMo:将上下文当作特征,但是无监督的语料和我们真实的语料还是有区别的,不一定符合我们特定的任务,是一种双向的特征提取。OpenAIGPT:通过transformerdecoder学习出来一个语言模型,不是固定的,通过任务fine-tuning,用transfomer代替ELMo的LSTM。OpenAIGPT其实就是缺少了encoder的transformer:当然也没了encoder与de