windows安装ChatGLM3

1.下载ChatGLM3代码

https://github.com/THUDM/ChatGLM3
windows安装ChatGLM3_第1张图片

2.下载ChatGLM3模型

web端下载可以进入主页点击下载https://huggingface.co/THUDM/chatglm3-6b/tree/main模型文件太大,下载太慢了,本文使用git命令下载
需要先安装git再安装git lfs才能下载大文件
注意:safetensors格式和bin格式选一个就行,safetensors格式更安全,bin格式更通用
windows安装ChatGLM3_第2张图片

2.1安装git

下载地址
下载后双击一路next安装完成
windows安装ChatGLM3_第3张图片
在这里插入图片描述

2.2安装git lfs

下载地址
下载后一路next安装
windows安装ChatGLM3_第4张图片
windows安装ChatGLM3_第5张图片
在这里插入图片描述

2.3下载模型

cmd进入下载位置,输入以下命令:

git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

实际过程中git clone发现没有下载下来.bin文件,参考文章通过clone的方式,下载huggingface中的大模型(git lfs install),进入chatglm3-6b目录,执行git lfs pull,开始正确下载.bin文件
在这里插入图片描述

3.配置ChatGLM3代码

模型文件下载后可以将模型文件放到代码主目录新建models目录下,使用IDE打开代码文件,将所有的MODEL_PATH修改为正确的路径
windows安装ChatGLM3_第6张图片

4.安装ChatGLM3依赖环境并启动

4.1 pycharm启动项目

pycharm直接打开项目ChatGLM3-main,新建interpreter,注意python版本3.10,低版本很多语句会报错!!!

windows安装ChatGLM3_第7张图片

直接pip安装依赖,另外看pycharm提示缺啥安啥

pip install protobuf transformers>=4.30.2 cpm_kernels torch>=2.0 gradio mdtex2html sentencepiece accelerate  -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install -r  requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

所有依赖安装完成后,在terminal进入basic_demo运行cli_demo.py

windows安装ChatGLM3_第8张图片
其他几个basic文件里的都可以运行,web开头的运行是有界面的
本机实际运行web_demo_gradio,会提示quene.Empty,网上查询是说显卡爆了
运行web_demo_streamlit,不能直接使用python运行,会报错history未初始化,最后使用 streamlit run web_demo_streamlit.py 命令成功启动,streamlit使用会弹出邮件输入,输入邮件后正确运行
windows安装ChatGLM3_第9张图片
windows安装ChatGLM3_第10张图片

4.2没有pycharm的,首先安装conda,参考文章Conda 安装使用图文详解

下载地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2023.09-0-Windows-x86_64.exe
根据图形界面一路 Next
安装后配置环境变量,参考anaconda3配置环境变量
安装完成后在cmd输入conda有正确输出则安装成功
在cmd窗口进入ChatGLM3项目,使用conda安装依赖

  • 根据conda创建python虚拟环境
conda create -n chatglm3 python=3.10
  • 激活chatglm3
conda activate chatglm3
  • 安装requirements.txt依赖
pip install protobuf transformers>=4.30.2 cpm_kernels torch>=2.0 gradio mdtex2html sentencepiece accelerate  -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install -r  requirements.txt  -i https://pypi.tuna.tsinghua.edu.cn/simple

运行命令过程中如果有个别库没安装好,使用pip单独重新装一下

cmd进入项目basic_demo运行cli_demo.py

python cli_demo.py

你可能感兴趣的:(windows,ChatGLM3,大模型)