【书生大模型Demo-2】

实践是最好的老师；

1 大模型InternLM介绍

大模型：AI中参数数量巨大，消耗巨大计算资源的模型；
特点：1.利用大量数据训练；
2.拥有数十亿及以上的参数；
3.在较为通用任务重展示出良好性能；

在InternLM模型全链条开源中 概念介绍：

• InternLM是一个开源的轻量级训练框架，旨在支持大模型训练而无需大量的依赖；基于InternLM训练框架，两个开源的预训练模型：InternLM-7B和InternLM-20B;
• Lagent是一个轻量级、开源的基于大语言模型的智能体（agent）框架；通过Lagent可以更好的发挥InternLM模型的全部性能；
• 浦语 灵笔是基于书生大语言模型开发的视觉语言大模型，有出色的图文理解和创作能力，可以创作一篇图文推文。

2 Demo

2.1 InternLM-Chat-7B智能对话Demo

模型介绍：InternLM支持在数千个GPU的大型集群上进行预训练，并在单个GPU上进行微调，实现性能优化。

2.1.1 环境配置

1.pip 更新和换国内源；–老生常谈；update and upgrade
2.clone pytorch env and activate internlm-demo
3.install the dependency needed by demo to run

2.1.2 模型下载

可以直接从github上clone，在这里已经事先准备好了，直接copy即可。

#激活环境
conda activate internlm-demo
#upgrade pip and install dependency

2.1.3 代码准备

clone code

cd /root/code
git clone https://xxx//xx/xx

2.1.4 运行Demo

1.终端运行
在上面git clone的InternLM目录下新建一个cli_demo.py文件，放入脚本；

python ./cli_demo.py

由于cli_demo的缺陷，导致input text只能特定支持逗号分隔符，否则就会报错。

不断交互去训练它，所以prompt很重要；

2.Web运行
本地映射服务器的端口，通过SSH隧道技术；
一定要SSH -L 连接远程，-L参数允许端口转发；

2.2 Lagent智能体工具调用Demo

Lagent是一个轻量级开源的大语言模型的智能体（agent）框架，快速地讲一个大语言模型转变为多种类型的智能体，提供典型工具进行模型赋能。

2.3 浦语 灵笔图文创作理解Demo

InternLM-XCcomposer
1.激活环境：conda activate xcomposer-demo
2.下载对应模型：internlm-xcomposer-7b模型
由于是直接在服务器里面直接使用大模型，在这里是直接mkdir，然后copy；
主流常用下载的方式：使用modelscope来下载模型

pip install modelscope==1.9.5
#touch a dedicated download.py,and python download.py
import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm-xcomposer-7b', cache_dir='/root/model', revision='master')

3.代码准备
在 /root/code git clone InternLM-XComposer仓库的代码
git clone
4.Demo运行
在终端运行代码
然后再本地http://127.0.0.0:6006

3 作业

3.1 使用模型生成300字小故事

3.2 Lagent工具调用Demo创作部署

查看消耗显存程序的命令：

vgpu-smi

3.3 灵笔模型的图文理解及创作部署

给出提示词进行图文创作，还是非常的给力；
首先以examples的提示词：

2.自己想一个词：又见南京步行街