大型语言模型综述(一)

文章目录

  • 摘要
  • 1、简介
  • 2、概述
    • 2.1 LLM的背景
    • 2.2 GPT系列模型的技术演进
  • 3 LLMs资源
    • 3.1 公开可用的模型检查点或api
    • 3.2 常用语料库
    • 3.3 算法库资源
  • 4 预训练
    • 4.1 数据收集
      • 4.1.1 数据源
      • 4.1.2 数据预处理
      • 4.1.3 预训练数据对LLMs的影响
    • 4.2 架构
      • 4.2.1 主流架构
      • 4.2.2详细配置
      • 4.2.3 预训练任务
      • 4.2.4 总结与讨论
    • 4.3 模型训练

你可能感兴趣的:(2023必读AI论文翻译,语言模型,人工智能,自然语言处理)