书生.浦语大模型实战一
从专用模型到通用大模型
数据
书生.万卷1.0
- 文本
- 图像-文本
- 视频数据
OpenDataLab开放平台
- 图像：ImageNet
- tokens语料：WikiQA
- 音频
- 视频：MovieNet
- 3D模型
预训练
微调
增量续训
使用场景：让基座模型学习到一些新知识，如某个垂类领域知识
训练数据：文章、书籍、代码等
有监督微调
使用场景：让模型学会理解和遵循各种指令、或者注入少量领域知识
训练数据：高质量对话、问答数据
有监督微调分为
- 全量参数微调
- 部分参数微调：固定模型主干，只对部分参数更新
部署
大语言模型特征
- 内存开销巨大
- 庞大的参数量
- 采用自回归生成token，需要缓存k/v
- 动态Shape
- 请求数不固定
- token逐个生成、且数量不定
- 模型结构相对简单
- transformer结构，大部分是decoder-only
智能体
由于大语言模型的局限性，例如
- 最新信息和知识的获取
- 回复的可靠性
- 数学计算
- 工具使用和交互
因此，需要在LLM的基础上，封装诸多策略和工具，如下图。
轻量智能体框架Lagent
Task1 InternLM-Chat-7B 智能对话 Demo
bash # 请每次使用 jupyter lab 打开终端时务必先执行 bash 命令进入 bash 中
/root/share/install_conda_env_internlm_base.sh internlm-demo
下载过程如下
激活并进入虚拟环境
conda activate internlm-demo
在虚拟环境中安装运行demo所需要的依赖
# 升级pip
python -m pip install --upgrade pip
pip install modelscope==1.9.5
pip install transformers==4.35.2
pip install streamlit==1.24.0
pip install sentencepiece==0.1.99
pip install accelerate==0.24.1
模型下载或复制
InternStudio 平台的 share 目录下已经为我们准备了全系列的 InternLM 模型，所以我们可以直接复制即可。使用如下命令复制：
mkdir -p /root/model/Shanghai_AI_Laboratory
cp -r /root/share/temp/model_repos/internlm-chat-7b /root/model/Shanghai_AI_Laboratory
代码下载
首先 clone 代码，在 /root 路径下新建 code 目录，然后切换路径, clone 代码.
cd /root/code
git clone https://gitee.com/internlm/InternLM.git
将 /root/code/InternLM/web_demo.py 中 29 行和 33 行的模型更换为本地的 /root/model/Shanghai_AI_Laboratory/internlm-chat-7b
开发机终端运行
我们可以在 /root/code/InternLM 目录下新建一个 cli_demo.py 文件，将以下代码填入其中：
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_name_or_path = "/root/model/Shanghai_AI_Laboratory/internlm-chat-7b"
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name_or_path, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map='auto')
model = model.eval()
system_prompt = """You are an AI assistant whose name is InternLM (书生·浦语).
- InternLM (书生·浦语) is a conversational language model that is developed by Shanghai AI Laboratory (上海人工智能实验室). It is designed to be helpful, honest, and harmless.
- InternLM (书生·浦语) can understand and communicate fluently in the language chosen by the user such as English and 中文.
"""
messages = [(system_prompt, '')]
print("=============Welcome to InternLM chatbot, type 'exit' to exit.=============")
while True:
input_text = input("User >>> ")
input_text = input_text.replace(' ', '')
if input_text == "exit":
break
response, history = model.chat(tokenizer, input_text, history=messages)
messages.append((input_text, response))
print(f"robot >>> {response}")
在远程终端运行
python /root/code/InternLM/cli_demo.py
1938年，晋西北，秋风萧瑟，草木凋零。一座小村庄里，住着一位名叫王老汉的老人。他年过六旬，膝下只有一女，名叫小红。小红从小便被王老汉养大，两人相依为命，过着平淡而幸福的生活。
然而，日本侵略者的到来打破了这种平静。1937年，日本鬼子突然袭击了王老汉的村庄，村民们纷纷逃窜，王老汉也因此失去了小红。他悲痛欲绝，发誓要为小红报仇雪恨。
经过几年的准备，王老汉终于等来了复仇的机会。他带领自己的部队，开始了游击战争，与日本鬼子展开了激烈的战斗。在这场战争中，王老汉不惧生死，勇往直前，最终带领部队成功地打败了日本鬼子。
小红得知后，感激不已，但她却选择了与王老汉分开，前往山区继续开展游击战争。虽然两人的联系已经断绝，但他们之间的感情却更加坚定。最终，王老汉带着胜利的喜悦，带着对小红的思念，离开了人世。
王老汉的牺牲，让人们更加深刻地认识到侵略者的不义，也让人们更加珍视和平与安宁。他的故事，将永远流传下去。
web demo运行
继续在虚拟环境中运行
streamlit run web_demo.py --server.address 127.0.0.1 --server.port 6006
要想在本地浏览器中打开web页面，还需要配置端口映射，即在本地生成ssh密钥对，将公钥配置到开发机中，配置完成后在本地终端输入端口映射命令。最后的开发机端口点击ssh连接进行查看。
ssh -CNg -L 6006:127.0.0.1:6006 [email protected] -p xxxxx
Lagent
加载模型成功
huggingface-cli下载
1.安装依赖
pip install -U huggingface_hub
2.众所周知的原因，需要将镜像源换为国内
export HF_ENDPOINT=https://hf-mirror.com
reference
如何快速下载huggingface模型——全方法总结
Huggingface 镜像站