【书生·浦语】大模型实战营——第二课笔记
按照以下链接走流程：https://github.com/InternLM/tutorial/blob/main/helloworld/hello_world.md
算力网站：https://studio.intern-ai.org.cn/console/dashboard
InternLM-Chat-7B 智能对话 Demo
创建开发机。可以选择A100(20G)，或者A100*2(40G)，这个demo只需要用20G的显卡。
输入bash命令，进入conda环境。
通过vgpu-smi命令可以查看当前显卡情况。
键入conda create --name internlm-demo --clone=/root/share/conda_envs/internlm-base
创建一个conda环境，这个创建过程很慢。
使用conda activate internlm-demo命令激活conda环境，下载所需包
模型使用
由于share目录已提供模型，直接将其复制过来即可。这里两个命令，一个命令是创建目录，一个是将模型复制到刚刚创建的目录里。
代码准备
通过cd命令移动到/root目录下，使用mkdir命令创建目录，然后git clone将InternLM仓库拉下来
进入目录，使用git checkout切换分支为教程所用分支。
将模型载入的路径切换为我们刚刚存放模型的路径。
创建一个文件，把教程提供的代码放进去，文件命名为cli_demo.py
仔细看一下这个代码
首先，InternLM这个模型肯定上传到了hugging face上，这样才能用transformers库的接口来载入InternLM的tokenizer（词表）和model（模型）
然后通过eval将模型变为变为验证模式，不积累梯度，只做推理。
通过input函数接收用户输入，如果用户输入了exit，就退出这个程序。
通过model.chat来回答用户的query，输入参数有词表tokenizer，用户的输入input_text，还有历史消息messages（数组形式）
将用户的输入和模型的回答加入到历史信息中。
demo 运行
键入python /root/code/InternLM/cli_demo.py命令，即可开启对话。下面是一个对话的例子：
开启一个web demo
通过教程，配置好ssh后，查看开发机的端口号，可以从图里看到，这台开发机的端口为33762
于是键入ssh命令配置本地端口。
进入浏览器，在网址一栏输入127.0.0.1:6006，等待其模型载入完成，就可以在web页面与InternLM进行聊天了。
以下是一个对话示例
Lagent 智能体工具调用 Demo
这里使用的是InternLM-Chat-7B那个开发机，所以一些模型复制的操作我就不重复做了。
Lagent安装
代码准备
Demo运行
根据上面同样的步骤配置ssh，就可以在本地打开浏览器体验demo了
问了2x+8=10，让他求x=多少，以下是一个示例（等待过程稍微优点漫长）
我们在终端也可以看到相关日志信息：
输入一个二元一次方程，也能得到正确的答案。
问气温这个需求无法做到，看起来没办法做搜索。
浦语·灵笔图文理解创作 Demo
这个demo需要40G的显存，需要换了一个40G显存的开发机，因此需要执行前面模型下载的一些步骤
需要创建一个新的环境，进入环境，下载新的一些包。
用下面的命令将图文模型xcomposer移动到指定目录
mkdir -p /root/model/Shanghai_AI_Laboratory
cp -r /root/share/temp/model_repos/internlm-xcomposer-7b /root/model/Shanghai_AI_Laboratory
代码准备
cd /root/code
git clone https://gitee.com/internlm/InternLM-XComposer.git
cd /root/code/InternLM-XComposer
git checkout 3e8c79051a1356b9c388a6447867355c0634932d # 最好保证和教程的 commit 版本一致
Demo运行
在终端运行以下代码：
cd /root/code/InternLM-XComposer
python examples/web_demo.py \
--folder /root/model/Shanghai_AI_Laboratory/internlm-xcomposer-7b \
--num_gpus 1 \
--port 6006
这个的等待时间比较久，需要耐心等待到有文字提示"Running on local URL: http://0.0.0.0:6006"后，你才能在本地ssh连接后在本地浏览器看到。不然提前操作都是没有用的。
创作图文并茂文章
在网页版demo输入”东汉末年分三国“
可以看看终端的输出：
我们可以从终端的输出看到，他是从根据关键词在网上搜索插图，放到文章里的。
点击旁边的edit，可以更换图片，同时也可以看到模型搜图的prompt。
有些地方本身没有图片，但是旁边也有加号，也可以添加图片。
比如这里：
这是我点击加号后，终端的输出：
多模态对话
点击MultiModal Chat，可以换到另一个应用
我选了命运石之门里的”助手“角色，问什么场景，前半部分回答对了，后半杜撰了“观众席”，不知道他咋想的。
整体体验还是挺不错的。
问题汇总
1、no module named ‘xxx’
有可能就是你没下载这个库
最大可能就是你没有conda activate对应的那个环境，因为包下在了某个环境里。
2、ssh连接失败
如果你中途换了开发机，需要看一下使用的开发机的端口，在命令中修改这一端口值。