书生·浦语：大模型全链路开源体系（一）

一、生成式AI的爆火：

2022年10月，OpenAI上线了聊天工具chatgpt,迅速在全球走红，2023年4月又发布了迄今为止最前的AI模型GPT4，大模型，AIGC等词迅速成为2023年最火的科技热词之一。与AI2.0时代的工具不同，此次，大模型不单单是在规模上，突出大的特点，更是展现出举世瞩目的能力和潜力，在文本生成，代码迭代，文字生图等领域均展现了非凡的潜力，对人们的学习、工作和生活都产生了深远的影响。

二、书生·浦语的开源之路：

OpenLLMlab先后推出了多款、针对不同需求的模型，并开源了全链路的大模型体系。

以大语言模型为例，OpenLLMlab共推出了三款不同量级的模型共广大AI从业者和爱好者调用：

轻量级：InternLM-7B模型，适用于社区直接本地部署的轻便模型

中量级：InternLM-20B模型，可用于商用的性价比之王

重量级：InternLM-123B模型，目前InternLM系列中功能最强的模型，满足构建复杂Agent全部条件。

其中7B和20B的模型完全开源，可商用。

InternLM 20B 在模型结构上选择了深结构，层数设定为60层，超过常规7B和13B模型所使用的32层或者40层。在参数受限的情况下，提高层数有利于提高模型的综合能力。此外，相较于InternLM-7B，InternLM-20B使用的预训练数据经过了更高质量的清洗，并补充了高知识密度和用于强化理解与推理能力的训练数据。因此，它在理解能力、推理能力、数学能力、编程能力等考验语言模型技术水平的方面都得到了显著提升。总体而言，InternLM-20B具有以下的特点：

• 优异的综合性能
• 很强的工具调用功能
• 支持16k语境长度（通过推理时外推）
• 更好的价值对齐

三、书生·浦语全链路开源开放体系：

1、AI-Agent的兴起：

单一的大模型，存在知识更新慢、模型幻觉、数学问题及工具的交互和调用等问题，为了解决这些问题，AI-Agent应运而生，无论是大厂还是初创企业，亦或者是个体用户，都以察觉，单靠base模型很难取得盈利，纷纷把目光转向Agent应用层。

2、全链路开源开放体系：

OpenLLMlab推出了从数据、预训练、微调到部署、测评和应用的全链路大模型一站式工具和服务

（1）数据：书生·万卷1.0数据集：

OpenLLMlab开放了数据量超过1TB的多模态数据集

（2）预训练：InternLM-Train:

推出了高可扩展性、极致性能优化、兼容主流和开箱即用的预训练框架：InternLM-Train

（3)  微调：XTuner:

大模型的下游应用中，增量续训和有监督微调是最主要的两种方式。

Ⅰ、增量续训：

让基座模型学习新知识，增强启在垂直领域的知识和专业性

Ⅱ、有监督微调：

为模型注入少量的高质量数据，使模型更好的理解和遵循各种指令

Ⅲ、XTuner高效微调框架：

1、支持所有的主流模型，覆盖多种微调策略和算法，以及各类SFT场景。

2、适配多种开源生态，支持加载HuggingFace、ModelScope模型和数据集的加载。

3、自动优化加速使得开发者无需关注优化和加速细节

4、支持多种硬件，目前全球唯一支持8GB显存即可微调7B模型。

（4）测评：OpenCompass：

OpenCompass包括测评体系和开源评测平台架构：

1、丰富的模型支持：主流开源模型、API模型一站式测评。

2、分布式高效测评：支持千亿模型在海量数据级上分布式测评。

3、便捷的数据接口：支持快速添加数据集。

4、敏捷的迭代能力：每周更新大模型评测榜单，每月提升测测评工具能力。

（5）部署：LMDeploy:

提供大模型在GPU上部署的全流程解决方案，包括模型轻量化、推理和服务。

（6）应用：Lagent框架和AgentLego:

OpenLLMlab提供了轻量级的智能体框架Lagent和多模态智能工具箱AgentLego,为从LLM向智能体过渡提供了工具。