李宏毅课程-人类语言处理-BERT和它的家族-ELMo等(下)

UniLM越来越统一的语言模型
李宏毅课程-人类语言处理-BERT和它的家族-ELMo等(下)_第1张图片
三种训练方式,第三种是第一个句子是编码可以全看,第二个句子当做解码,只能看前面的,不能看后面的
李宏毅课程-人类语言处理-BERT和它的家族-ELMo等(下)_第2张图片
electra,预测是原来的还是替换的。任务更简单,另外没个词都对训练起到了作用
李宏毅课程-人类语言处理-BERT和它的家族-ELMo等(下)_第3张图片
防止提花你的词太简单,前面再加个bert,单独训练,没有引入gan
李宏毅课程-人类语言处理-BERT和它的家族-ELMo等(下)_第4张图片
任务简单,收敛更快,节约成本
李宏毅课程-人类语言处理-BERT和它的家族-ELMo等(下)_第5张图片
没个词一个向量,和一整个句子一个向量
李宏毅课程-人类语言处理-BERT和它的家族-ELMo等(下)_第6张图片
通过向量的句子来学习句子的向量,生成,或者分类判断
李宏毅课程-人类语言处理-BERT和它的家族-ELMo等(下)_第7张图片
nsp任务更简单,很多都取消了,albert假设了但是更难变成sop,交换两个句子,最后面的做了个结合
李宏毅课程-人类语言处理-BERT和它的家族-ELMo等(下)_第8张图片
T5统一成生成模型
李宏毅课程-人类语言处理-BERT和它的家族-ELMo等(下)_第9张图片
引入知识,变成ernie
李宏毅课程-人类语言处理-BERT和它的家族-ELMo等(下)_第10张图片
同样挺很多声音,或者看很多图片或者视频一样可以生成一个预训练模型
李宏毅课程-人类语言处理-BERT和它的家族-ELMo等(下)_第11张图片

你可能感兴趣的:(bert,深度学习,自然语言处理)