fastchat部署的真实大坑

离开环境聊部署，都是耍XX

环境 WIN11+PY?? , PY到底用哪个版本呢？逼死你，真的

3.9 3.10 可以顺利安装 pip install pyllama -U  但是到你 执行 python -m llama.download --model_size 7B 的时候会报 _itree的错误，然后你翻遍了网络，最后会找到一条提示，让你安装py3.11

但是安装了py3.11 你会发现pip install pyllama -U 都会报错：

src/sentencepiece/sentencepiece_wrap.cxx(2822): fatal error C1083: 无法打开包括文件: “sentencepiece_processor.h”: No such file or directory

死循环了

解决办法是 环境用py3.11 然后下载pyllama 的源码，修改一下requirements把sentencepiece 改为sentencepiece==0.1.99就可以了

好吧，放弃上面说的，正确搞定的方式如下：

（1）LLaMA-7B OriginalModelWeights - 飞桨AI Studio (baidu.com)    从这下载llama-7b模型 

（2）lmsys/vicuna-7b-delta-v1.1 at main (huggingface.co) 从这下载7b-delta

（3）转换 llama-7b

cd C:\Users\xxx\llm\transformers-main\transformers-main\src\transformers\models\llama

python convert_llama_weights_to_hf.py --input_dir D:\llm\LLaMAOriginalWeights\LLaMAOriginalWeights\LLaMA --model_size 7B --output_dir C:\Users\xxx\llm\llama7b-hf-t 

LLaMAOriginalWeights就是（1）下载的

注意pip install "protobuf<=3.20" 一定要低于这个版本

（4）制作真正要用的模型

python -m fastchat.model.apply_delta --base-model-path C:\Users\xxx\llm\llama7b-hf-t --target-model-path C:\Users\xxx\llm\vmodel --delta-path D:\llm\vllama7b-delta1

D:\llm\vllama7b-delta1就是（2）下载的

（5）走起

python -m fastchat.serve.cli --model-path C:\Users\yriyr\llm\vmodel --device cpu --load-8bit