【nlp】3.1 Transformer背景介绍及架构

Transformer背景介绍

  • 1 Transformer的诞生
  • 2 Transformer的优势
  • 3 Transformer的市场
  • 4 Transformer架构
    • 4.1 Transformer模型的作用
    • 4.2 Transformer总体架构图
      • 4.2.1 输入部分
      • 4.2.2 输出部分包含
      • 4.2.3 编码器部分
      • 4.2.4 解码器部分

1 Transformer的诞生

2018年10月,Google发出一篇论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》, BERT模型横空出世, 并横扫NLP领域11项任务的最佳成绩!

论文地址: https://arxiv.org/pdf/1810.04805.pdf

而在BERT中发挥重要作用的结构就是Transformer, 之后又相继出现X

你可能感兴趣的:(NLP自然语言处理,自然语言处理,transformer,人工智能)