部署运行Vicuna(小羊驼)

本次部署采用的是CPU运行，GPU与CPU的部署方式都一样，如需更了解详细的资料，可以访问GitHub链接： https://github.com/lm-sys/FastChat

环境简介

根据GitHub上简介可以知道：
运行Vicuna-7B需要RAM>30GB或者14GB的显存
运行Vicuna-13B需要RAM>60GB或者28GB的显存

由于本地我没有足够的硬件设备，所以本次部署采用的是网上租用设备来部署
我使用的是矩池云提供的服务。
我租用的是CPU算力（主要是没钱，GPU算力有点贵啊），硬件信息如下：

可使用CPU数	可使用内存	硬盘
8	40 GB	Samsung SSD 870
硬盘带宽	可用空间	CPU型号
376.62 MB/s	100 GB	Intel® Xeon® Platinum 8260L CPU @ 2.30GHz

所需数据下载

本次部署需要的数据有两个一个是LLaMa模型还有一个是vicuna-7b-delta-v1.1

LLaMA下载

磁力链接下载

在这里我采用的是7B
磁力链接：magnet:?xt=urn:btih:b8287ebfa04f879b048d4d4404108cf3e8014352&dn=LLaMA

百度网盘及天翼云盘下载

百度网盘：
链接：https://pan.baidu.com/s/1SfY8M_MVQWWKU6fNdGcfZg
提取码：dz5e

天翼云盘：
https://cloud.189.cn/t/qyYveyFFZZ7z （访问码：uem0）

下载完成结果

vicuna-7b-delta-v1.1下载

官网下载链接

官网下载链接：https://huggingface.co/lmsys/vicuna-7b-delta-v1.1

百度网盘及天翼云盘下载

百度网盘：
链接：https://pan.baidu.com/s/1vPkFW1U_xg0LV72o28xOWA
提取码：hgz5

天翼云盘：
https://cloud.189.cn/t/yABFz2y63iiq （访问码：gms5）

下载结果展示

将LLaMA及vicuna-7b-delta-v1.1上传到CPU服务器上

这里我使用的是百度网盘,你需要把你的数据放在百度网盘上的我的应用数据文件夹内

安装bypy

pip install bypy

获取授权码

bypy info

复制图片中的网址到浏览器访问（确定你登录的账号是正确的）
把获取到的授权码粘贴到服务器内

下载命令

提供bypy把LLaMA及vicuna-7b-delta-v1.1下载到服务器内

bypy list #查看文件列表
bypy downdir 文件夹名 #这个命令会下载文件夹内的所有数据
bypy downfile 文件名 #下载单个文件的命令

下载完结果展示：

正式部署

安装fschat及huggingface/transformers更改

pip install fschat

默认安装的protobuf会因为版本过高而不兼容，所以需要降版本

pip install protobuf==3.20.0

git clone https://github.com/huggingface/transformers.git

python setup.py install

转换llaMA模型

python transformers/src/transformers/models/llama/convert_llama_weights_to_hf.py  --input_dir LLaMA/  --model_size 7B  --output_dir ./output/llama-7b

input_dir	LLaMA权重文件的路径
model_size	7B，如果你是13B就改为13B
output_dir	转换成功后的保存路径

合并生成Vicuna模型

python -m fastchat.model.apply_delta --base ./output/llama-7b --target ./vicuna-7b --delta ./vicuna-7b-delta-v1.1

base	转换llaMA模型后的路径
target	合并生成后的保存路径
delta	下载的vicuna-7b-delta-v1.1路径

运行

python -m fastchat.serve.cli --model-path ./ --device cpu
#--device cpu 用CPU运行
#如果你是GPU运行，确保显存足够

model-path	合并生成后的Vicuna模型路径

运行结果展示

至此，Vicuna的部署到此完成。