本地部署中文LLaMA模型实战教程，民间羊驼模型

羊驼实战系列索引

博文1：本地部署中文LLaMA模型实战教程，民间羊驼模型（本博客）
博文2：本地训练中文LLaMA模型实战教程，民间羊驼模型
博文3：精调训练中文LLaMA模型实战教程，民间羊驼模型

简介

LLaMA大部分是英文语料训练的，讲中文能力很弱。如果我们想微调训练自己的LLM模型，基于一个大规模中文语料预训练的模型比较好。目前开源项目很多，理想的项目要有以下特点：
模型开源、训练代码开源、代码结构简单、环境容易安装、文档清晰。
经过寻找与试验，我找到了一个比较好的项目。
https://github.com/ymcui/Chinese-LLaMA-Alpaca
本博文要点如下：
1 实战部分：模型下载与参数合并、模型命令行加载测试、模型部署为web网页（解决了一些报错问题）
2 代码走读：模型参数合并、词表扩充
3 原理分析：预训练与指令精调

实战

系统环境

系统：Ubuntu 20.10
CUDA Version: 11.8 (我推荐11.7)
GPU: RTX3090 24G
内存: 64 G
anaconda（python版本