大语言模型本地化部署+可视化微调

本地化部署

2023年被称为人工智能（AI）元年，AI技术在全球范围内飞速发展，已经渗透到了各行各业。随着chatgpt的爆火，国内外的大语言模型（Large Language Model，LLM）争先恐后，高速发展，人工智能技术也从传统的判别式人工智能逐渐转向了生成式人工智能，LLM作为AI的一种具体表现形式，除去关注大模型的回答精度，作为用户来说，会更加关注其数据安全性、数据隐私性，其需求也就演变为如何本地私有化部署。下面将介绍两种大语言模型的本地化部署。
友情提示：如果个人电脑配置不够的话，建议租用云服务器，用vscode等编译器远程连接调试更方便。

GLM4

智谱AI是由清华大学计算机系技术成果转化而来的公司，致力于打造新一代认知智能通用模型。GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。
其运行文件和微调文件均已上传至github，可以通过git命令下载：

git clone https://github.com/THUDM/GLM-4.git

我们要本地化部署，还需要下载预训练模型文件，可以通过hugging face或者魔塔社区两种方式下载，国内推荐利用魔塔社区（https://modelscope.cn/models）下载：

git clone https://www.modelscope.cn/ZhipuAI/glm-4-9b-chat.git

需要注意，预训练的大模型文件较大，使用git命令无法进行下载，需要安装git lf