【书生浦语大模型全链路开源体系】

详细模型介绍，请看 书生·浦语大模型全链路开源体系

一、背景

近几年来，随着人工智能行业的不断发展，大模型、大语言模型的发展火箭般的速度飞速更新迭代，从最早的GPT，到ChatGPT，再到LLaMA、GPT-4等等。

那么为什么大模型能在当今时代如鱼得水，以一种位面之子的形态蓬勃发展呢？

正是因为大模型已然 成为发展通用人工智能的重要途径！
过去，可能会使用模型只应用于一个具体的领域，如图像识别、生成等，但随着大模型的不断发展，逐步发现，只需要训练出一个强大的基础的大模型，最后只需要针对各个领域进行微调，就能取得极好的成果，相当于有了一个万能模板，这无疑为所有研究人员指明了一条道路：谁能训练出一个更强大的模板，谁就能独占鳌头！自然，大模型的发展也就以一种不可阻挡之势，持续进击！

二、书生 · 浦语大模型的发展

2.1、书生 · 浦语大模型的开源历程

2.2、书生 · 浦语大模型的系列

重点：目前轻量级和中量级模型都是开源可用的！
模型看着不错，那实际的性能是怎么样的？下面以中量级模型为例展示。

我书生 · 浦语训练只为三件事：强大、强大、还是 tmd 强大！

三、从模型到应用

四、书生 · 浦语全链条开源开放体系

4.1、数据（书生 · 万卷）

4.2、预训练（InternLM-Train）

4.3、微调（XTuner）

大语言模型的下游应用中，增量续训和有监督微调是经常会用到的两种方式：

1. 增量续训
   • 使用场景:让基座模型学习到一些新知识，如某个垂类领域知识
   • 训练数据:文章、书籍、代码等
2. 有监督微调
   • 使用场景:让模型学会理解和遵循各种指令，或者注入少量领域知识
   • 训练数据:高质量的对话、问答数据

内存不够训练不了？只需 8GB 即可畅想微调！是的，不要4090，不要A100，只需 8GB！

4.4、评测（OpenCompass）

国内外已经有不少评测标准，但从评测全面性来看不太能够满足现在大模型的发展

既然现有的标准都不太满足，那就自己造一个！

6大维度，80+评测集，40w+评测题目！（OpenCompass轻蔑一笑：哼，一个能打的都没有）
除此之外，你以为 OpenCompass 只是一个评测维度体系？要是真这么觉得，年轻人，还是见识少了~ 亮个相吧，小宝贝！

不止评测，还能提供工具使用，真的泰无敌辣！

目前支持这么多模型，但以后会越来越多的。

4.5、部署（LMDeploy）

主要包括模型轻量化、推理和服务

4.6、智能体（Lagent）

大语言模型具有一定的局限性，包括：

• 最新信息和知识的获取

• 回复的可靠性

• 数学计算在这里插入图片描述

• 工具使用和交互

不能总放着这些缺点不管，科学家有了思路，让大模型去驱动一个智能体，或者更复杂的应用来满足这些需求。通常，会搭建一个包含不同模块的智能体框架，以大语言模型作为核心来进行规划、推理、执行。

书生 · 浦语也搭建了自己的智能体——Lagent

不仅如此，书生 · 浦语还创建了智能体工具箱——AgentLego