【nlp】4.3 nlp中常用的预训练模型(BERT及其变体)

nlp中常用的预训练模型

  • 1 当下NLP中流行的预训练模型¶
    • 1.1 BERT及其变体
    • 1.2 GPT
    • 1.3 GPT-2及其变体
    • 1.4 Transformer-XL
    • 1.5 XLNet及其变体
    • 1.6 XLM
    • 1.7 RoBERTa及其变体
    • 1.8 DistilBERT及其变体
    • 1.9 ALBERT
    • 1.10 T5及其变体
    • 1.11 XLM-RoBERTa及其变体
  • 2 预训练模型说明¶
  • 3 预训练模型的分类

1 当下NLP中流行的预训练模型¶

  • BERT
  • GPT
  • GPT-2
  • Transformer-XL
  • XLNet
  • XLM
  • RoBERTa
  • DistilBERT
  • ALBERT
  • T5
  • XLM-RoBER

你可能感兴趣的:(NLP自然语言处理,自然语言处理,bert,人工智能)