Xtuner

书生浦语-模型微调

大语言模型微调指令微调的流程LoRA(旁路分支微调)Xtuner微调框架微调训练作业微调作业需要多训练几个epoch，这里训练了16个epoch
SatVision炼金士·2024-02-19 11:28

书生·浦语大模型第四课作业

基础作业：构建数据集，使用XTuner微调InternLM-Chat-7B模型,让模型学习到它是你的智能小助手，效果如下图所示，本作业训练出来的模型的输出需要将不要葱姜蒜大佬替换成自己名字或昵称！
查里王·2024-02-13 00:59

InternLM大模型实战-4.XTuner大模型低成本微调实战

文章目录前言笔记正文XTuner支持模型和数据集微调原理跟随文档学习快速上手自定义微调准备数据准备配置文件MS-Agent微调前言本文是对于InternLM全链路开源体系系列课程的学习笔记。
早上真好·2024-02-12 21:40

第四节课[XTuner微调]作业

文章目录前言作业基础作业-XTunerInternLM-Chat个人小助手认知微调实践前言XTuner做在第三节课LangChain作业之前，因为第三节课没想好找哪个领域，等第三节课作业做了一起部署。
早上真好·2024-02-12 21:40

【书生浦语大模型全链路开源体系】

浦语大模型的发展2.1、书生·浦语大模型的开源历程2.2、书生·浦语大模型的系列三、从模型到应用四、书生·浦语全链条开源开放体系4.1、数据（书生·万卷）4.2、预训练（InternLM-Train）4.3、微调（XTuner
G_Sheep·2024-02-11 18:54

XTuner 大模型单卡低成本微调实战

第四节课《XTuner大模型单卡低成本微调实战》着重介绍了如何应用XTuner进行大模型的微调，以及两种微调模式：增量预训练和指令跟随。
查里王·2024-02-09 02:30

书生浦语大模型实战营笔记作业汇总

哔哩哔哩第三课：书生浦语大模型实战营第三次课笔记-CSDN博客书生浦语大模型实战营第三次课作业-CSDN博客第四课：书生浦语大模型实战营第四次课笔记-CSDN博客书生浦语大模型实战营第四次课作业-使用XTuner
睡觉爱数羊·2024-01-31 03:56

书生·浦语大模型实战营汇总

浦语大模型实战营第一课：书生·浦语大模型全链路开源体系视频，笔记第二课：浦语大模型趣味Demo视频，文档，笔记，作业第三课：基于InternLM和LangChain搭建你的知识库视频，文档，笔记，作业第四课：XTuner
灬烖灬·2024-01-31 03:55

大模型学习之书生·浦语大模型笔记汇总

·浦语大模型1——全链路开源体系大模型学习之书生·浦语大模型2——趣味Demo大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库大模型学习之书生·浦语大模型4——基于Xtuner
uncle_ll·2024-01-31 03:25

【书生·浦语大模型实战营】学习笔记目录

浦语大模型实战营02】《轻松玩转书生·浦语大模型趣味Demo》学习笔记【书生·浦语大模型实战营03】《基于InternLM和LangChain搭建你的知识库》学习笔记【书生·浦语大模型实战营04】《(4)XTuner
songyuc·2024-01-30 14:33

【XTuner 大模型单卡低成本微调实战】学习笔记

参考学习教程【XTuner大模型单卡低成本微调实战】理论Finetune简介大语言模型微调模式增量预训练指令跟随微调LoRA和QLoRAXtuner介绍实战自定义微调用MedicationQA数据集进行微调将数据转为
尘汐筠竹·2024-01-29 05:46

XTuner复现

https://github.com/InternLM/tutorial/blob/main/xtuner/README.mdhttps://github.com/InternLM/tutorial/blob
cq99312254·2024-01-27 03:24

XTuner InternLM-Chat 个人小助手认知微调实践

1.概述目标：通过微调，帮助模型了解对自己身份方式：使用XTuner进行微调2.实操2.1微调环境准备参考：XTuner复现-CSDN博客#InternStudio平台中，从本地clone一个已有pytorch2.0.1
cq99312254·2024-01-27 03:54

书生·浦语大模型--第四节课作业

书生·浦语大模型--第四节课作业基础部分进阶部分基础部分基础作业：构建数据集，使用XTuner微调InternLM-Chat-7B模型,让模型学习到它是你的智能小助手，效果如下图所示，本作业训练出来的模型的输出需要将不要葱姜蒜大佬替换成自己名字或昵称
李日音·2024-01-25 21:02

书生·浦语大模型--第四节课笔记--XTuner大模型单卡低成本微调

文章目录Finetune简介指令跟随微调增量预训练微调LoRAQLoRAXTuner介绍快速上手8GB显卡玩转LLM动手实战环节Finetune简介增量预训练和指令跟随通过指令微调获得instructedLLM指令跟随微调一问一答的方式进行对话模板计算损失增量预训练微调不需要问题只需要回答，都是陈述句。计算损失时和指令微调一样LoRAQLoRA不需要太大的显存开销。增加旁路分支Adapter。比较
李日音·2024-01-25 21:02

XTuner大模型单卡低成本微调实战

XTuner大模型单卡低成本微调实战最开始还是越学越迷糊的状态当训练260步左右的时候loss已经比较小了（0.0460），已经可以生成对应的内容了
__y__·2024-01-25 08:49

书生·浦语大模型实战营第四次课堂笔记

但是还是看看视频吧微调是在海量的文本内容的基础上以无监督或半监督的方式进行训练的qlora是对lora的一种改进~感觉就是更高级点的工具对话模版~XTuner介
Unicornlyy·2024-01-25 07:59

【第四课课后作业】XTuner大模型单卡低成本微调实战

基础作业1.安装与配置环境#InternStudio平台中，从本地clone一个已有pytorch2.0.1的环境（后续均在该环境执行，若为其他环境可作为参考）#进入环境后首先bash#进入环境后首先bash#进入环境后首先bashbashcondacreate--namepersonal_assistant--clone=/root/share/conda_envs/internlm-base#
Kinno酱·2024-01-24 05:52

书生·浦语大模型实战营-学习笔记4

XTuner大模型单卡低成本微调实战Finetune简介常见的两种微调策略：增量预训练、指令跟随指令跟随微调数据是一问一答的形式对话模板构建每个开源模型使用的对话模板都不相同指令微调原理：由于只有答案部分是我们期望模型来进行回答的内容
Kinno酱·2024-01-24 05:22

【书生·浦语大模型实战营第4课】XTuner单卡低成本微调你的大模型

1创建环境bash#创建环境condacreate--namepersonal_assistantpython=3.10-y#激活环境condaactivatepersonal_assistantcd/root/mkdir/root/personal_assistant&&cd/root/personal_assistant#拉取0.1.9的版本源码gitclone-bv0.1.9https://
A-Little-Boy·2024-01-24 04:17

大模型学习第四课作业

基础作业：构建数据集，使用XTuner微调InternLM-Chat-7B模型,让模型学习到它是你的智能小助手
敲键盘的喵桑·2024-01-22 02:38

XTuner 大模型单卡低成本微调实战

教程XTuner大模型单卡低成本微调实战文档XTuner大模型单卡低成本微调实战B站视频指令微调，也叫指令微调，intruct大模型。
RessCris·2024-01-21 18:46

【书生·浦语大模型实战营04】《(4)XTuner 大模型单卡低成本微调实战》学习笔记

《(4)XTuner大模型单卡低成本微调实战》课程文档：《XTuner大模型单卡低成本微调实战》1Finetune简介LLM的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式1.1增量预训练微调使用场景
songyuc·2024-01-21 02:46

书生·浦语大模型实战营第四节课笔记及作业

XTuner大模型单卡低成本微调实战1Finetune简介大语言模型LLM是在海量的文本内容基础上，以无监督或半监督方式进行训练的。海量的文本内容赋予了大模型各种各样的行业知识。
zpc1219·2024-01-19 17:30

书生·浦语大模型实战营笔记-第四节 XTuner 大模型单卡低成本微调实战

书生·浦语大模型实战营笔记第四节XTuner大模型单卡低成本微调实战文章目录书生·浦语大模型实战营笔记前言一、Finetune简介1.1两种微调模式的简介1.2指令微调1.3增量预训练微调1.4LoRa
biscuit279·2024-01-19 17:29

大模型学习与实践笔记（七）

构建虚拟环境condacreate--namextuner0.1.9python=3.10-y#拉取0.1.9的版本源码gitclone-bv0.1.9https://github.com/InternLM/xtuner
AllYoung_362·2024-01-19 10:54

大模型学习与实践笔记（六）

一、finetune简介两种微调模式：增量预训练与指令跟随1.增量预训练2.指令微调二、LoRA与QLoRA介绍三、XTuner介绍四、低显存玩转LLM的方法
AllYoung_362·2024-01-19 10:24

【书生·浦语】大模型实战营——XTuner InternLM-Chat 个人小助手认知微调实践

基础任务——使用XTuner进行微调，帮助模型认清了解的自己身份环境配置配置基础环境（pytorch=2.0.1,python=3.10），clonextuner仓库并进行源码安装。
不想动脑筋的亮亮·2024-01-17 04:46

XTuner 微调 课程学习

大语言模型于海量的文本内容上，以无监督和半监督的方式进行训练的模型微调的目的：使其在具体的使用场景或领域中输出更好的回答增量预训练——给模型喂新的领域知识；指令跟随或指令微调——基于海量的预训练数据训练出来的模型通常叫做——base模型或预训练模型，在没有进行指令微调的模型上进行测试，模型只是单纯的对给定的输入进行在训练数据集上的拟合，而不能意识到在对模型进行提问，为了让模型在测试过程中有更好的表
HsienWei-Chin·2024-01-16 07:19

作业（3）——微调

基础作业：构建数据集，使用XTuner微调InternLM-Chat-7B模型,让模型学习到它是你的智能小助手。效果图，微调前与微调后：XTuner——一个大语言模型微调工具箱。
亲爱的阿基米德^·2024-01-15 21:13

书生·浦语大模型实战营作业（四）

基础作业：构建数据集，使用XTuner微调InternLM-Chat-7B模型,让模型学习到它是你的智能小助手，效果如下图所示，本作业训练出来的模型的输出需要将不要葱姜蒜大佬替换成自己名字或昵称！
三省斋主·2024-01-15 07:16

大模型实战营Day4 XTuner 大模型单卡低成本微调实战 作业

按照文档操作：单卡跑完训练：按照要求更改微调的数据：完成微调数据的脚本生成：修改配置文件：替换好文件后启动：启动后终端如图：用于微调的一些数据显示：训练时间，loss:可见模型是经过微调数据反复纠正，慢慢被引导向微调设计者所想的方向：3个epoch完：参数转换、合并：更改路径为现存的参数：用streamlit进行启动模型，开始对话：但是有错误，到DDL了。加载完镜像后再运行，其他能显示，图片却不能
AIzealot无·2024-01-15 04:51

大模型实战营Day4 XTuner 大模型单卡低成本微调实战

构建角色和对话模板，这项工作由Xtuner做过了，可以借此一键完成。在预测阶段，这个不同角色模型的对话模板，两种模型的格式有所区别：指令微调采用一
AIzealot无·2024-01-15 04:21

【笔记】书生·浦语大模型实战营——第四课（XTuner 大模型单卡低成本微调实战）

【参考：tutorial/xtuner/README.mdatmain·InternLM/tutorial】【参考：(4)XTuner大模型单卡低成本微调实战_哔哩哔哩_bilibili-【OpenMMLab
myaijarvis·2024-01-15 03:07

大模型实战营Day4 XTuner大模型单卡低成本微调实战

FINETUNE简介LLM下游应用中，增量预训练和指令跟随是经常会用到的两种微调模式指令跟随微调使用场景：让模型学会对话模板，根据人类指令进行对话训练数据：高质量的对话，问答数据为什么需要指令微调？因为在对话中模型只是根据我们的提问去拟合训练数据集中的分布，它并没有意识你的意图是在向它提问。通过指令微调后，便可得到instructedLLM，可以输出我们更加相对满意的结果在进行指令跟随微调前，先定
流浪德意志·2024-01-14 17:37

大模型实战营Day4 作业

基础作业：构建数据集，使用XTuner微调InternLM-Chat-7B模型,让模型学习到它是你的智能小助手，效果如下图所示，本作业训练出来的模型的输出需要将不要葱姜蒜大佬替换成自己名字或昵称！
流浪德意志·2024-01-14 17:35

[书生·浦语大模型实战营]——XTuner 大模型单卡低成本微调

1.Finetune简介在未经过微调的pretrainedLLM中，模型只会尽量去拟合你的输入，也就是说模型并没有意识到你在提问，因此需要微调来修正。1.1常用的微调模式LLM的下游应用中,增量预训练和指令跟随是经常会用到的两种的微调模式。增量预训练微调使用场景:让基座模型学习到一些新知识,如某个垂类领域的常识训练数据：文章、书籍、代码等指令跟随微调使用场景：让模型学会对话模板，根据人类指令进行对
不是吧这都有重名·2024-01-14 14:45

InternLM第4次课作业

Follow以下步骤：https://github.com/InternLM/tutorial/blob/main/xtuner/self.md训练1个epoch基本可以达到要求报错：FileNotFoundError
Jamiechoi·2024-01-14 12:56

InternLM第4次课笔记

XTuner大模型单卡低成本微调实战1Finetune介绍2XTuner介绍XTuner中微调的技术：38GB显卡玩转LLM4动手实战环节https://github.com/InternLM/tutorial
Jamiechoi·2024-01-14 12:55

Xtuner大模型微调

Xtuner大模型微调一、课程笔记文档链接：https://github.com/InternLM/tutorial/blob/main/xtuner/README.md视频链接：https://www.bilibili.com
yestolife123·2024-01-14 06:43

大模型实战笔记04——XTuner 大模型单卡低成本微调实战

大模型实战笔记04——XTuner大模型单卡低成本微调实战1、Finetune简介2、XTuner3、8GB显存玩转LLM4、动手实战环节注：笔记内容均为截图课程视频地址：https://www.bilibili.com
等风来随风飘·2024-01-14 00:44

【InternLM 大模型实战】第四课

XTuner大模型单卡低成本微调实战FINETUNE简介指令跟随微调增量预训练微调LoRA&QLoRAXTuner简介功能亮点适配多种生态适配多种硬件8GB显卡玩转LLMFlashAttentionDeepSpeedZeRO
卖小麦←_←·2024-01-13 21:07

XTuner 大模型单卡低成本微调实战

XTuner大模型单卡低成本微调实战Finetune简介增量预训练微调指令跟随微调LoRAXTuner介绍功能亮点8GB显存玩转LLMFlashAttentionDeepSpeedZeRO上手操作平台激活环境微调参考教程
桑_榆·2024-01-13 17:16

XTuner 大模型单卡低成本微调原理

文章目录Finetune简介增量预训练微调指令跟随微调微调原理XTuner微调框架XTuner数据引擎XTuner微调的优化策略动手实战Finetune简介微调模式：增量预训练微调使用场景：让基座模型学习到一些新知识
爱科研的瞌睡虫·2024-01-13 13:20

【InternLM 大模型实战】第一课

书生·浦语大模型全链路开源体系前言环境背景开源历程开源模型应用从模型到应用全链条开源开放体系数据预训练微调高效微调框架XTuner评测OpenCompass开源评测平台架构部署LMdeploy大模型部署的全流程解决方案智能体轻量级智能体框架
卖小麦←_←·2024-01-13 13:02

【书生·浦语】大模型实战营——第四课笔记

教程链接：https://github.com/InternLM/tutorial/blob/main/xtuner/README.md视频链接：https://www.bilibili.com/video
Horace_01·2024-01-13 13:27

【书生·浦语】大模型实战营——第四课作业

教程文档：https://github.com/InternLM/tutorial/blob/main/xtuner/self.md基础作业需要构建数据集，微调模型，让其明白自己的弟位（OvO！）
Horace_01·2024-01-13 13:23

大模型学习第四课

学习目标：XTuner大模型单卡低成本微调实战学习内容：Finetune简介XTuner介绍8GB显卡玩转LLM动手实战环节学习时间：20240110学习产出：Finetune简介增量预训练微调指令跟随微调
敲键盘的喵桑·2024-01-11 21:38

InternLM第1节课笔记

预训练InternLM-Train高可扩展：8卡-千卡兼容主流：支持HuggingFace微调XTuner：自动优化加速、适配多种开源生态，显存优化增量续训有监督微调部署LMDeploy接口：Python
Jamiechoi·2024-01-11 05:34

大模型学习之书生·浦语大模型4——基于Xtuner大模型微调实战

基于Xtuner大模型微调实战Fintune简介海量数据训练的basemodel指令微调InstructedLLM增量预训练微调增量数据不需要问题，只需要答案，只需要陈述类的数据指令跟随微调指定角色指定问题给对应的
uncle_ll·2024-01-11 00:01
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他