1.书生·浦语大模型全链路开源体系

  • 课程基本信息
    • 课程主题 书生·浦语大模型全链路开源体系
    • 指导老师 上海人工智能实验室 陈恺
    • 视频链接 书生·浦语大模型全链路开源体系_哔哩哔哩_bilibili
  • 课程大纲
  • 大模型发展经历
    • 近几年,大模型成为热门关键词
    • 由专用模型发展到通用模型
  • 书生·浦语大模型系列
    • InternLM-7B
      • 轻量级
      • 70亿模型参数
      • 社区低成本
    • InternLM-20B
      • 中量级
      • 200亿模型参数
      • 商业小规模高精度
    • InternLM-123B
      • 重量级
      • 1230亿模型参数
      • 通用大模型
  • 从模型到应用
    • 1.书生·浦语大模型全链路开源体系_第1张图片

  • 书生·浦语大模型全链路开源开放体系
    • 数据 书生.万卷
      • 2TB数据
      • 多模态融合
      • 精细化处理
      • 价值观对齐
    • 预训练 InternLM-Train
      • 并行训练,极致优化。速度达到 3600 tokens/sec/gpu。
      • 高可扩展
      • 极致性能优化
      • 兼容主流
      • 开箱即用
    • 微调 XTuner
      • 支持全参数微调、LoRA 等低成本微调。
      • 提供增量续训和有监督微调。
        • 增量续训
          • 使用场景:让基座模型学习到一些新知识,如垂直领域知识
          • 训练数据:文章、数据、代码等
        • 有监督微调
          • 使用场景:让模型学会理解和遵循各种指令,或者注入少量领域知识
          • 训练数据:高质量的对话、问答数据
      • 适配多种生态,硬件
    • 评测 OpenCompass
      • 全方位评测,性能可复现。80套评测集,40万道题目。
      • 六大维度
        • 学科:初中考试、中国高考、大学考试、语言能力考试、职业资格考试
        • 语言:字词释义、成语习语、语义相似、指代消解、翻译
        • 知识:知识问答、多语种知识问答
        • 理解:阅读理解、内容分析、内容总结
        • .推理:因果推理、常识推理、代码推理、数学推理
        • 安全:偏见、有害性、公平性、隐私性、真实性、合法性
      • 用户遍及国内外知名企业与科研机构
    • 部署 LMDeploy
      • 全链路部署,性能领先,每秒生成2000+ tokens。提供大模型在GPU上部署的全流程解决方案,包括模型轻量化、推理和服务
    • 应用 Lagent,AgentLego
      • 支持多种智能体,支持代码解释器等多种工具。
      • 智能体应用

    1.书生·浦语大模型全链路开源体系_第2张图片

你可能感兴趣的:(语言模型)