前段时间,清华公布了中英双语对话模型ChatGLM-6B,具有60亿的参数,初具问答和对话功能。最!最!最重要的是它能够支持私有化部署,大部分实验室的服务器基本上都能跑起来。因为条件特殊,实验室网络不通,那么如何进行离线部署呢?经过一上午的折腾终于搞定了,总结了这么一个部署文档供大家讨论学习(其实,比在线部署还快哟~)。除去下载模型以及依赖包的时间,部署十分钟搞定!!让我们冲~~
本着授人以鱼不如授人以渔的想法,比较详细的介绍了chatglm-6B相关依赖资源的获取方式;「如果怕麻烦,也可以直接拉到文章最后直接获取chatglm-6B所有相关依赖资源」。
「部署环境」:CUDA Version 11.0,机器内存32G以上或者机器8G内存+8G显卡内存。
那么,正式开始吧~~
「方法一」 直接拉到文章最后(获取方式放在最后)。
「方法二」 因为Miniconda自带python,所以要在官网下载python版本为3.10的Miniconda版本。下载地址为:https://docs.conda.io/en/latest/miniconda.html#linux-installers,具体截图如下。(如果不想自己麻烦,我也已经把它放到云盘里面了)。
将Miniconda下载安装包放到你要放的目录,这里我放在:/home/work/miniconda 中,然后执行sh Miniconda3-latest-Linux-x86_64.sh 如下图所示:
执行完之后按照提示进行回车(enter)就好了,注意:最后选择“yes”,这样每次启动,它都会自动给你切换到conda的base环境中。
miniconda支持创建多个虚拟环境,用来支撑不同版本(python)版本的代码,这里就为chatglm-6b创建一个单独的python虚拟机环境,名字叫:chatglm,后面会在该环境中安装跑chatglm-6b模型的所有依赖。下面是命令及截图:
conda create -n chatglm --clone base (注:因为是离线安装这里选择clone的方式创建,直接创建会报错)
conda env list (获取环境列表)
conda activate chatglm (切换chatglm环境)
chatglm-6b在centos上用到的所有依赖全都打包在packages里面了(在云盘中,获取方式放在最后),将其也放到/home/work/chatglm/packages下面,然后执行:
pip install --no-index --find-links=/home/work/chatglm/packages -r requirements.txt
「方法一」 直接拉到文章最后(获取方式放在最后)。
「方法二」 通过Hugging Face获取,连接地址:https://huggingface.co/THUDM/chatglm-6b/tree/main,下载所有的文件。建立chatglm_model文件夹,把下载的所有文件都塞到这里面。
不管通过以上哪种方法:将模型文件放到机器目录:/home/work/chatglm/chatglm_model下面。
方法一、直接拉到文章最后(获取方式放在最后)。
方法二、通过github开源项目获取,连接地址:https://github.com/Akegarasu/ChatGLM-webui,下载所有文件。建立webui文件夹,将下载的所有文件都塞到这个文件夹里面。
还是不管按照以上哪种方法获取,将webui相关文件放到机器目录:/home/work/chatglm/webui里面。
按照上面的操作,最终的文件夹目录如下:
接着,进入到webui文件夹里面,执行如下命令:
python webui.py --model-path /home/work/chatglm/chatglm_model --listen --port 8898 --precision fp16
上面参数主要是:模型路径、监听端口、以及模型工作模式;除此之外还有其它的几个参数没有用到。所有参数解释具体如下:
执行完以上命令之后,等待模型加载完成,通过IP+端口就可以访问服务啦!截图如下:
[1] NLP自然语言处理:ChatGPT等大语言模型(LLMs)测试数据集--整理分享
[2]附源码下载!继续分享8篇NLP论文,看如何提升大模型复杂推理能力 - 知乎 (zhihu.com)
[3]NLP自然语言处理:含源码!分享7篇NLP文章,已有研究选择:利用ChatGPT实现零样本信息提取(中文)
[4] 「自然语言处理(NLP)」 你必须要知道的 “ 十二个国际顶级会议 ” !
[5] 2023年!自然语言处理 10 大预训练模型
[6] NLP自然语言处理:分享 8 篇NLP论文,有研究惊奇发现:大语言模型除了学习语言还学到了... ...
[7]【超详细!】一文看懂从逻辑回归(Logistic)到神经网络(NN)
[8] 2023年,请不要忽略!图神经网络(GNN)这一匹黑马!
[9] NLP自然语言处理:NLP不断突破界限,2023 十篇必读的顶级NLP论文! [7] 颠覆传统神经网络!19个神经元驾驶一辆车!
[10] 分享10篇最新NLP顶级论文,有研究竟提出:给大型语言模型(LLM)增加水印
[11] NLP自然语言处理:Language Is Not ALL You Need && 知识图谱的两种应用
[12] NLP自然语言处理:ChatGPT等大语言模型(LLMs)测试数据集--整理分