01 书生·浦语大模型全链路开源体系

目录

1 InterLM简介      

2 书生·浦语大模型开源历程

3 书生·浦语20B开源大模型性能

4 书生·浦语全链条开源开放体系

4.1 数据

4.2 预训练

4.3 微调

4.4 部署

4.5 评测

4.6 应用

---

1 InterLM简介      

        InternLM 是在过万亿 token 数据上训练的多语千亿参数基座模型。通过多阶段的渐进式训练，InternLM 基座模型具有较高的知识水平，在中英文阅读理解、推理任务等需要较强思维能力的场景下性能优秀，在多种面向人类设计的综合性考试中表现突出。在此基础上，通过高质量的人类标注对话数据结合 RLHF 等技术，使得 InternLM 可以在与人类对话时响应复杂指令，并且表现出符合人类道德与价值观的回复。

2 书生·浦语大模型开源历程

        2023.06.07 发布千亿参数大语言模型InternLM

        2023.07.06 支持8k语境，26种语言，全面开源、免费商用，InternLM-7B、全链条开源体系

        2023.08.14 书生·万卷1.0，多模态预训练语料库发布

        2023.08.21 InternLM-Chat-7B v1.1发布，开源智能体框架lagent

        2023.08.28 参数量升级至123B

        2023.09.20 增强版InterLM-20B开源，开源工具链全线升级

        ……

3 书生·浦语20B开源大模型性能

        官方的评测分数如上图，可以看出模型用Llamm2-70B三分之一的参数量达到了几乎不逊的性能。

4 书生·浦语全链条开源开放体系

4.1 数据

        书生·万卷，包括2TB数据，涵盖多种模态和多种任务、OpenDataLab

4.2 预训练

        InternLM-Train，速度达到3600tokens/sec/gpu

4.3 微调

        XTuner，支持全参数、LoRA等低成本微调

4.4 部署

        LMDeploy，全链路部署，每秒生成2000+tokens

4.5 评测

        OpenCompass，80套评测集，40w+题目

4.6 应用

        Lagent、AgengLego，支持多种智能体，代码解释器等多种工具