chatglm-6B基础环境、模型下载、微调训练详细介绍

chatgml-6B

1.GLM预训练介绍

GLM(通用语言模型),基于自回归空白填充假设输入语段是是x1-x6,随机mask掉一部分,模型开始预测被mask的语段是什么,同时随机打乱mask的位置。
chatglm-6B基础环境、模型下载、微调训练详细介绍_第1张图片
chatglm-6B基础环境、模型下载、微调训练详细介绍_第2张图片
链接: GLM Paper
链接: GLM-130B Paper
链接: ChatGLM-6B

2.基础环境及镜像镜像下载方式

chatglm-6B基础环境、模型下载、微调训练详细介绍_第3张图片
链接: HuggingFace Repo
链接: Get Started

3.模型文件下载

chatglm-6B基础环境、模型下载、微调训练详细介绍_第4张图片
chatglm-6B基础环境、模型下载、微调训练详细介绍_第5张图片
chatglm-6B基础环境、模型下载、微调训练详细介绍_第6张图片
chatglm-6B基础环境、模型下载、微调训练详细介绍_第7张图片
chatglm-6B基础环境、模型下载、微调训练详细介绍_第8张图片
链接: Torch Version
chatglm-6B基础环境、模型下载、微调训练详细介绍_第9张图片

3.1推理

chatglm-6B基础环境、模型下载、微调训练详细介绍_第10张图片
chatglm-6B基础环境、模型下载、微调训练详细介绍_第11张图片

4. Fingtuing

P-Tuning (1 RTX2080 ti *11G)
LoRA (1 RTX2080 ti *11G)
Full Parameter

4.1数据准备

chatglm-6B基础环境、模型下载、微调训练详细介绍_第12张图片
样例数据下载链接
链接: Dataset

5.有监督训练量化训练

chatglm-6B基础环境、模型下载、微调训练详细介绍_第13张图片

5.1更改全部参数训练方式

chatglm-6B基础环境、模型下载、微调训练详细介绍_第14张图片

5.2 LoRA训练方式

链接: LoRA详细介绍

链接: lchatglm-lora_hub

chatglm-6B基础环境、模型下载、微调训练详细介绍_第15张图片

你可能感兴趣的:(深度学习,pytorch,人工智能)