【实战】Chatglm微调指引和部署（MNN）

一. Chatglm

相对简单，而且微调之后性能比较奇怪，可以参考ChatGLM-6B 的部署与微调教程

1.1 MNN部署

https://github.com/wangzhaode/ChatGLM-MNN

1.1.1 Linux部署

git clone https://github.com/wangzhaode/ChatGLM-MNN.git

（1）编译MNN

cd MNN
mkdir build && cd build

#使用cuda
cmake -DCMAKE_BUILD_TYPE=Release -DMNN_CUDA=ON ..
make -j$(nproc)
cd ../..#退出

（2）文件拷贝

cp -r MNN/include/MNN include
cp MNN/build/libMNN.so libs/
cp MNN/build/express/*.so  libs/

（3）权重下载
挂

cd resource/models
# 下载fp16权值模型, 几乎没有精度损失
./download_models.sh fp16
# 下载int8权值模型，极少精度损失，推荐使用
./download_models.sh int8
# 下载int4权值模型，有一定精度损失
./download_models.sh int4 

（4）体验

mkdir build && cd build
cmake -D WITH_CUDA=on ..

# start build(support Linux/Mac)
make -j$(nproc)

./cli_demo # cli demo
./web_demo # web ui demo

大概长这样但是很快就汇报内存，也是目前他们正在解决的问题

1.2 InferLLM部署

https://github.com/MegEngine/InferLLM