大模型学习与实践笔记(六)

一、finetune 简介

两种微调模式:增量预训练 与指令跟随

1.增量预训练

大模型学习与实践笔记(六)_第1张图片

2.指令微调

大模型学习与实践笔记(六)_第2张图片

二、LoRA 与 QLoRA 介绍

大模型学习与实践笔记(六)_第3张图片

大模型学习与实践笔记(六)_第4张图片

三、XTuner 介绍

大模型学习与实践笔记(六)_第5张图片

大模型学习与实践笔记(六)_第6张图片

大模型学习与实践笔记(六)_第7张图片

大模型学习与实践笔记(六)_第8张图片

四、低显存玩转LLM的方法

大模型学习与实践笔记(六)_第9张图片

你可能感兴趣的:(llama,langchain,AIGC,深度学习,人工智能,chatgpt,gpt)