在服务器的Docker容器上部署ChatGLM2-6B

文件下载

在https://github.com/THUDM/ChatGLM2-6B上进行模型的下载。
在https://huggingface.co/THUDM/chatglm2-6b上进行模型实践的下载。

可以直接参考https://github.com/THUDM/ChatGLM2-6B中的流程去clone下载，但是容易出现网络问题，需要配置好网络。这里选择下载到本地后再复制到docker容器中。

起容器，记得进行端口映射

docker run --name tc200cu118 --gpus all -p 768:8888 -p 767:7860 -d tc200cu118

文件复制

1.1、可以使用vscode进行ssh连接后直接拖拽文件到主机
1.2、使用scp命令复制

2、将文件从宿主机复制到docker
docker cp bins tc200cu118:/root

bins为文件名；tc200cu118为docker名；/root为路径

7860端口

下载依赖

pip install -r requirements.txt

可以将原requirements文件中的torch行删除，使用轮子文件（whl）下载，避免卡断

配置文件路径

把前两行的路径更换为bins文件的绝对路径
可更改lanuch 为 True 使得可以可以生成可供别人访问链接

运行

python web_demo.py