轻松玩转浦语大模型Demo | 宋志学--听课笔记

这篇文章整理了浦语大模型训练营第2次课的笔记，内容全面，非常感谢宋志学老师的真诚讲解，也期待更多人一起来学习哦！

1.大模型及InterLM模型介绍

1.1 什么是大模型

大模型是人工智能领域中拥有强大参数数量、庞大计算能力和参数规模的模型。

1.2 大模型的特点及应用

• 利用大量数据进行 训练
• 拥有数十亿甚至千亿个参数
• 模型在各种任务中展现出惊人的性能

1.3 InternLM模型介绍

InternLM是上海人工智能实验室发布的一个开源的轻量级训练模型框架，支持大模型训练而无需大量的依赖。基于InternLM训练框架，主要有两个预训练模型：

• InternLM-7B

• InternLM-20B

• 智能体框架：Langent（轻量级）

• 浦语·灵笔：是一个视·语言大模型，有出色的图文理解和创作能力。

2.InternLM-Chat-7B智能对话Demo

2.1 模型介绍

通过单一的代码库，InternLM支持在拥有数千个GPU的大型集群上进行预训练，并在单个GPU上进行微调。

在1024个GPU上训练时，InternLM可以实现近90%的加速效率。

• InternLM-7B
  • 参数：70亿参数为基础模型
  • 为场景量身定制的对话模型
  • 训练：数万亿高质量token，建立强大的知识库
  • 支持8k token上下文窗口长度，输入序开更长并增强了推理能力

2.2 Lagent介绍

• 轻量级、开源
• 基于大语言模型的智能体（agent）框架
• 用户可以快速地将一个大语言模型转变为多种类型的智能体
• 提供典型工具为大语言模型赋能

如下图所示：

2.3 浦语·灵笔介绍

• 基于书生·浦语大模型开发的视觉·语言大模型
• 提供出色的图文理解和创作能力
• 为用户打造图文并茂的专属文章
• 设计了高效的训练策略，为模型注入海量的多模态概念和知识数据，赋予其强大的图文理解和对话能力。

3.通用换源设置

3.1 pip、conda换源

• pip换源设置pip默认镜像源，升级pip到最新版本(>=10.0.0)后进行配置，命令如下图所示：

• conda快速换源，命令如下图所示：

3.2 模型下载

方法一：下载Hugging Face命令行工具，并安装相关依赖，命令如下图所示：

方法二：使用OpenXLab指定模型仓库地址，先使用如下命令安装download

pip install -U openxlab

然后，将如下代码写入python文件，代码如下图所示：

方法三：使用modelscope中的snapshot_download函数下载模型

首先，安装依赖，代码如下：

pip instal modelscope
pip instal transformers

然后，在当前目录下新建python文件，填入下图代码：

4.部署InternLM-Chat-7B对话Demo

• Stp1：在InternLM实验平台创建开发机
• Stp2：进入开发机
• Stp3：bash，conda环境
• Stp4：下载模型，平台提供了镜像，直接复制模型
• Stp5：新建code文件，在该目录下创建代码.py文件
• Stp6：更新克隆好的版本
• Stp7：更新代码时，一定要按Ctrl+c保存代码
• Stp7：把训练营提供的代码复制，新建一个cls.py，粘贴进行
• Stp8：在VScode中运行代码，就可以在终端中运行模型
• Stp9：要自己的电脑上生成秘钥，并cat出来，复制
• Stp10：到实验平台配置秘钥
• Stp11：把训练营提供的命令，回到自己电脑进行SSH连接
• Stp12：打开实验平台中生成的链接，打开链接，等待模型加载完成，就可以对话写文章了

5.部署智能体工具调用Demo

• 直接用上例中的环境
• Stp1：克隆模型
• Stp2：Lagent安装
• Stp3：修改代码，用训练营文档中提供的代码，按文档指导复制进去
• Stp4：运行Demo
• Stp5：打开平台生成的链接，就可以使用了，例如让模型做一道数学题

6.浦语·灵笔Demo部署

• Stp1：创建开发机，要用A100(1/4)*2
• Stp2：进入开发机
• Stp3：进入cadon环境
• Stp4：克隆环境并激活
• Stp5：下载模型
• Stp6：克隆仓库
• Stp7：准备代码：直接使用技术文档中的代码
• Stp8：运行代码，配置本地SSH通信端口
• Stp9：等待模型加载完成后，登录网址，体验图文创作

这是听课笔记，详情请阅读我的实操笔记，如果你想深入学习，请一起来浦语模型训练营一起学习，平台提供免费的算力和实验环境。