【总结】Transformer预训练任务总结

Transformer预训练任务总结

文章目录

  • Transformer预训练任务总结
    • 1、介绍
    • 2、例子总结
      • 2.1、序列分类
      • 2.2、EQA
      • 2.3、语言模型任务
        • 2.3.1 Mask Language Modeling
        • 2.3.2 Causal Language Modeling
        • 2.3.4 文本生成
      • 2.4、NER
      • 2.5、摘要
      • 2.6、文本翻译
    • 3、总结

1、介绍

这篇文章总结了基于Transformer库构建自己的任务的方案;更多信息可参考transformer文档。

总体来说,transforme

你可能感兴趣的:(transformer,深度学习,自然语言处理)