第二节课笔记+作业——书生·浦语大模型实战营

一、Web demo运行

1.以个人电脑window操作系统为例，在power shell终端生成ssh密钥对：

ssh-keygen -t rsa

2.因为密钥默认情况存储下在~/.ssh/目录下，三个回车（更改目录，设置密码，确认密码），这样做的好处是用ssh命令来进行本地终端映射服务器端口时，可以免密登录(这里设置好要稍等一会，有可能会出现一直让你输密码的情况，过一会就好了)

3.公钥默认存储在 ~/.ssh/id_rsa.pub, 用cat命令查看公钥：

cat ~\.ssh\id_rsa.pub

4.将id_rsa.pub里的内容配置服务器中的SSH Key

5.在power shell终端中输入如下指令，‘33090’要改成ssh连接的显卡接口（ssh连接命令里有）

ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 33090

6.在ssh远程连接服务器的终端里运行python命令，vscode会弹出浏览器选项或者直接在浏览器中输入http://127.0.0.1:6006，浏览器页面会加载出模型交互界面。

二、hugging face 下载功能

1.使用 Hugging Face 官方提供的 huggingface-cli 命令行工具。安装依赖:

pip install -U huggingface_hub

2.设置镜像站

export HF_ENDPOINT=``https://hf-mirror.com

3.新建python文件，用于执行下列指令

import os 
from huggingface_hub import hf_hub_download  # Load model directly 

hf_hub_download(repo_id="internlm/internlm-7b", filename="config.json")

三、tutorial + 作业

将书生·浦语的三个大模型Demo放在实战营提供的A100跑，按照书生·浦语大模型趣味Demo 完成如下的三个Demo，效果还可以。

1.InternLM-Chat-7B 智能对话 Demo

这里用户和机器人的头像加载不出来，后来用InternLM-Chat-7B和gpt3.5比较理解一整段代码的能力，InternLM-Chat-7B强一些

图1.使用 InternLM-Chat-7B 模型生成 300 字的小故事

2.Lagent 智能体工具调用 Demo

用弱智吧问题调戏了Lagent,嗯，这个智能体还蒙对了一道题~~

图2，3.使用 Lagent 工具调用 Demo 回答弱智吧问题

3.浦语·灵笔图文理解创作 Demo

图文理解功能不错，图文创作总有不小的概率出现bug：首先我先用较小显存A100跑，图文理解会error,图文创作只会生成几行文字。
接着换了较大显存A100跑，又遇到gradio摆烂导致InternLM-XComposer样式丢失，还好提供的Q&A文档有解决方案，大概是如下情况：

图4.使用 InternLM-XComposer样式丢失问题

改了下，终于没啥毛病了，图文理解运行流畅，图文创作还是要多提交几次，才能把图片加载出来，个人感觉这方面还要进一步优化。

图5.使用 InternLM-XComposer图文创作

图6.使用 InternLM-XComposer图文理解

四、作业

• 使用 InternLM-Chat-7B 模型生成 300 字的小故事（需截图）。
  如图1所示。
• 熟悉 hugging face 下载功能，使用 huggingface_hub python 包，下载 InternLM-20B 的 config.json 文件到本地（需截图下载过程）。

• 完成浦语·灵笔的图文理解及创作部署（需截图）
  如图5，6所示。
• 完成 Lagent 工具调用 Demo 创作部署（需截图）
  如图2，3所示。