windows中使用ubuntu子系统部署chatglm-6b-int4量化后的模型

windows中使用ubuntu子系统部署chatglm-6b-int4量化后的模型_第1张图片

效果展示如上

首先要安装ubuntu子系统

GitHub - THUDM/ChatGLM-6B: ChatGLM-6B:开源双语对话语言模型 | An Open Bilingual Dialogue Language Model 

从官网上拉取代码到本地

git clone https://github.com/THUDM/ChatGLM-6B.git

windows中使用ubuntu子系统部署chatglm-6b-int4量化后的模型_第2张图片

pip install -r requirements.txt

下载量化后的模型chatglm-6b-int4到本地文件目录

THUDM/chatglm-6b-int4 at mainWe’re on a journey to advance and democratize artificial intelligence through open source and open science.icon-default.png?t=N3I4https://huggingface.co/THUDM/chatglm-6b-int4/tree/mainwindows中使用ubuntu子系统部署chatglm-6b-int4量化后的模型_第3张图片

 修改cli_demo.py文件

 windows中使用ubuntu子系统部署chatglm-6b-int4量化后的模型_第4张图片

试运行

python3 cli_demo.py

 

你可能感兴趣的:(linux,chatgpt)