精调训练中文LLaMA模型实战教程,民间羊驼模型

羊驼实战系列索引

博文1:本地部署中文LLaMA模型实战教程,民间羊驼模型
博文2:本地训练中文LLaMA模型实战教程,民间羊驼模型
博文3:精调训练中文LLaMA模型实战教程,民间羊驼模型(本博客)

简介

在学习完上篇【博文2:本地训练中文LLaMA模型实战教程,民间羊驼模型】后,我们已经学会了使用无监督的语料预训练LLaMA模型,无监督的语料能让模型学会预测下一个字符是什么,但是还不能让模型理解人类的对话意图,经过指令精调之后模型就可以具备对话能力了。
本博客主要包含以下内容:
1训练数据准备,精调指令.json。
2训练脚本编写,主要参数讲解,消耗显存控制在24GB以内
3训练实战,测评。

系统配置

系统:Ubuntu 20.10
CUDA Version: 11.8
GPU: RTX3090 24G
内存: 64 G
anaconda(python版本管理)
RTX3090 24G显存刚好够用,设置合理的参数可以正常训练!

项目下载

你可能感兴趣的:(chatGPT,llama,深度学习,python)