书生-浦路大模型全链路开源体系

2023年，大模型成为热门关键词

论文链接

大模型已经成为发展通用人工智能的重要途经

模型评测过程：从模型到应用

全链条开源开发体系 | 数据：

1. 多模态融合
   万卷包含文本、图像和视频等多模态数据，涵盖科技、文学、媒体、教育和法律等多个领域。该数据集对模型的知识内容、逻辑推理和泛化能力的提升有显著效果

2. 精细化处理
   万卷经过语言筛选、文本提取、格式标准化、数据过滤和清洗(基于规则和模型)、多尺度去重和数据质量评估等精细数据处理环节，能够很好地适应后续模型训练的要求。

3. 价值观对齐
   在万卷的构建过程中，研究人员注重将数据内容与主流中国价值观进行对齐，并通过算法和人工评估的结合提高语料库的纯净度

全链条开源开发体系 | 预处理：

高可扩展
支持从 8卡到 千卡训练 千卡 加速效率达 92%

极致性能优化
Hybrid Zero独特技术+极致优化，加速 50%

兼容主流
无缝接入 HuggingFace等技术生态，支持各类轻量化技术

开箱即用
支持多种规格语言模型，修改配置即可训练

全链条开源开放体系 | 微调

大语言模型的下游应用中，增量续训和有监督微调是经常会用到两种方式

增量续训

使用场景:让基座模型学习到一些新知识，如某个垂类领域知识训练数据:文章、书籍、代码等

有监督微调

使用场景:让模型学会理解和遵循各种指令，或者注入少量领域知识训练数据:高质量的对话、问答数据

全链条开源开放体系|评测

全链条开源开放体系|部署

1. 大语言模型特点

• 内存开销巨大
  • 庞大的参数量
  • 采用自回归生成token，需要缓存k/v
• 动态Shape
  • 请求数不固定
  • token逐个生成，且数量不定
• 模型结构相对简单
  • transformer结构，大部分是decoder-only

2. 技术挑战

• 设备
  • 低存储设备(消费级显卡、移动端等)如何部署?
• 推理
  • 如何加速token的生成速度.
  • 如何解决动态shape，让推理可以不间断
  • 如何有效管理和利用内存
• 服务
  • 提升系统整体吞吐量.
  • 降低请求的平均响应时间

3. 部署方案

• 技术点
  • 模型并行
  • 低比特量化
  • Attention优化
  • 计算和访存优化
  • Continuous Batching

全链条开源开放体系|智能体

大语言模型的局限性

• 最新信息和知识的获取
• 回复的可靠性
• 数学计算
• 工具使用和交互

多模态智能体工具箱AgentLego

• 丰富的工具集合，尤其是提供了大量视觉、多模态相关领域的前沿算法功能
• 支持多个主流智能体系统，如 LangChain，Transformers Agent，Lagent 等
• 灵活的多模态工具调用接口，可以轻松支持各类输入输出格式的工具函数
• 一键式远程工具部署，轻松使用和调试大模型智能体