win10 Baichuan2-7B-Chat-4bits 上部署 百川2-7B-对话模型-4bits量化版
搞了两天才搞清楚跑通好难呢,个人电脑win10,6GB显存个人感觉生成速度很慢,数学能力不怎么行没有ChatGLM2-6B强,逻辑还行,要求:我的部署流程1.下载模型,下载所有文件然后放到新建的model目录https://huggingface.co/baichuan-inc/Baichuan2-7B-Chat-4bits/tree/main2.创建环境安装依赖用conda创建一个新环境取名ba