论文阅读 BERT GPT - transformer在NLP领域的延伸

文章目录

  • 不会写的很详细,只是为了帮助我理解在CV领域transformer的拓展
  • 1 摘要
    • 1.1 BERT - 核心
    • 1.2 GPT - 核心
  • 2 模型架构
    • 2.1 概览
  • 3 区别
    • 3.1 finetune和prompt
  • 3.2 transformer及训练
  • 总结

不会写的很详细,只是为了帮助我理解在CV领域transformer的拓展

1 摘要

1.1 BERT - 核心

双向 编码器 加上mask做完形填空超大模型无监督预训练 需要整个模型作为pretrain weight到下游任务做fintune

1.2 GPT - 核心

自回归 解码器 无需训练 只需Prompt

2 模型架构

2.1 概览

论文阅读 BERT GPT - transformer在NLP领域的延伸_第1张图片
论文阅读 BERT GPT - transformer在NLP领域的延伸_第2张图片

3 区别

3.1 finetune和prompt

BERT需要全部参数进行训练
GPT不需要训练即可完成下游任务
论文阅读 BERT GPT - transformer在NLP领域的延伸_第3张图片

3.2 transformer及训练

BERT使用双向的编码器
论文阅读 BERT GPT - transformer在NLP领域的延伸_第4张图片

GPT使用自回归的解码器
论文阅读 BERT GPT - transformer在NLP领域的延伸_第5张图片

总结

总结个毛

你可能感兴趣的:(自然语言处理,论文阅读,bert)