书生·浦语大模型实战营第一节课笔记

书生·浦语大模型全链路开源体系

前言

大模型成为热门关键词

不管学术界还是工业界,大模型都有着广泛的研究和应用。从下图(a)和(b)可以看到近年来Arxiv上摘要和题目包含“Language Model”或“Large Language Model”的论文数量指数级增长。自从ChatGPT发布以后,大模型迅速成为一个最热门的研究方向。自2018年以来,OpenAI一直坚持GPT的技术路线,其发布的ChatGPT2个月月活破亿!
书生·浦语大模型实战营第一节课笔记_第1张图片

大模型成为发展通用人工智能的重要途径

人工智能的研究方向从专用模型转向通用大模型。专用模型:针对特定任务,一个模型解决一个问题。通用大模型:一个模型应对多种任务、多种模态。
书生·浦语大模型实战营第一节课笔记_第2张图片

书生·浦语大模型开源历程

在大模型的浪潮下,上海人工智能实验室发布了InternLM大模型,并不断对模型和工具体系等进行升级!
书生·浦语大模型实战营第一节课笔记_第3张图片

书生·浦语大模型系列

书生·浦语大模型覆盖了轻量级中量级重量级这一套不同模型大小的系列。
书生·浦语大模型实战营第一节课笔记_第4张图片

从模型到应用

现在有很多开源大模型,比如书生·浦语大模型系列,但如何实现从模型到应用呢?下图展示了针对业务场景是否复杂、算力是否足够、是否需要环境交互等不同情况下从模型选型到最终的模型部署的整个链路。
书生·浦语大模型实战营第一节课笔记_第5张图片

书生·浦语全链路开源开放体系

书生·浦语大模型实战营第一节课笔记_第6张图片

数据——书生·万卷

书生·浦语大模型实战营第一节课笔记_第7张图片
海量数据可以在OpenDataLab上下载!
书生·浦语大模型实战营第一节课笔记_第8张图片

预训练——InternLM-Train

书生·浦语大模型实战营第一节课笔记_第9张图片

微调——Xtuner

有监督微调相比增量续训和预训练所需的数据都要少一些
书生·浦语大模型实战营第一节课笔记_第10张图片
高效微调框架XTuner
书生·浦语大模型实战营第一节课笔记_第11张图片
XTuner实现使用8GB消费级显卡玩转70亿参数大模型!
书生·浦语大模型实战营第一节课笔记_第12张图片

评测——OpenCompass

国内外评测体系的整体态势如下所示:
书生·浦语大模型实战营第一节课笔记_第13张图片
鉴于国内外评测体系存在缺陷,全球领先的更加全面的大模型开源评测体系OpenCompass被提出!
书生·浦语大模型实战营第一节课笔记_第14张图片
OpenCompass开源评测平台架构如下所示:
书生·浦语大模型实战营第一节课笔记_第15张图片
OpenCompass具有丰富模型支持分布式高效评测便捷的数据集接口敏捷的的能力迭代这四个亮点。OpenCompass的用户遍及国内外知名企业和科研机构!
书生·浦语大模型实战营第一节课笔记_第16张图片

部署——LMDeploy

针对大语言模型特点,存在一些部署相关的技术挑战,提出了一些部署方案。
书生·浦语大模型实战营第一节课笔记_第17张图片
LMDeploy提供大模型在GPU上部署的全流程解决方案,包括模型轻量化、推理和服务。
书生·浦语大模型实战营第一节课笔记_第18张图片
LMDeploy展现出领先的推理性能!
书生·浦语大模型实战营第一节课笔记_第19张图片

应用——Lagent/AgentLego

针对大语言模型存在的局限性,需要搭建一个智能体!
书生·浦语大模型实战营第一节课笔记_第20张图片

轻量级智能体框架Lagent

书生·浦语大模型实战营第一节课笔记_第21张图片

多模态智能体工具箱AgentLego

书生·浦语大模型实战营第一节课笔记_第22张图片

你可能感兴趣的:(笔记)