【书生·浦语大模型实战营】学习笔记1

大模型成为发展通用人工智能的重要途经
专用模型：针对特定任务，一个模型解决一个问题
通用大模型：一个模型应对多种任务、多种模态
书生·浦语大模型系列
上海人工智能实验室
轻量级、中量级、重量级
7B 和 123B的轻量级和中量级大模型都是开源可用的

从模型到应用

应用类型：智能客服？个人助手？行业应用？
流程

这个过程中需要考虑的问题包括
· 模型选型——需要模型在哪些能力上比较强
· 业务场景——我们是否能够直接将模型应用到问题场景中
· 算力——采用不同的微调方式
· 交互问题——是否构建agent智能体来解决问题
· 模型评测——测试（微调后的）模型是否能解决问题
书生·浦语全链条开源开发体系
提供了包括数据、预训练、微调、评测和应用全方位的应用工具

数据
书生·万卷开源语料库：多模态融合、精细化处理、价值观对齐
openDataLab开放数据平台
预训练
高可扩展，多卡加速
极致性能优化，Hybrid Zero独特技术进行加速
兼容主流
主流的HuggingFace等技术生态
开箱即用
多种规格的预训练模型
微调
包括增量续训和有监督微调
增量续训：训练基座模型，学习到某个垂直领域的知识 数据为文章、书籍、代码等
有监督微调：让大模型理解各种指令，注入少量领域知识 数据为高质量对话、问答数据等

评测
国内外评测体系的整体态势

OpenCompass 评测平台
架构

部署

LMDeploy
提供大模型部署在GPU上的全流程解决方案，包括模型轻量化、推理和服务

智能体应用
大语言模型的局限性

使用大语言模型来驱动智能体

轻量级智能体框架Lagent
支持多种类型的智能体能力、多种大语言模型、扩展工具

实现让llm调用工具给用户提供更加复杂的服务

多模态智能体工具箱AgentLego
· 工具集合，包括视觉、多模态相关领域的前沿算法
· 多个主流智能体系统，如Lagent、LangChain、Transformers Agent等
· 多模态工具调用接口，支持各类input output工具函数
· 一键远程工具部署

参考资料

1. 书生·浦语大模型全链路开源体系