finetune

目标检测算法——YOLO-Word——算法详解

作者实验证明ap指标上zeroshot能力YOLO-worldL接近专门训练过的YOLOv6-8S模型的能力，finetune后YOLO-world均能提升8个点左右。

TigerZ*·2025-06-14 08:44

04 XTuner 大模型单卡低成本微调实战

在上一期内容中介绍了RAG的大模型定制方案以及具体实现的demo，这一期将对finetune进行简单介绍。

wangzixinxinxin·2025-06-13 20:22

Datawhale-llm-universe 第一章 LLM介绍打卡

并融入了一些个人的理解以及思考）大型语言模型LLM理论简介LLM的定义和概念发展历程主要模型（如GPT-3、GPT-4、PaLM等）典型应用场景LLM的能力和特点检索增强生成RAG简介RAG的概念工作流程优势和应用与微调（Finetune

星野yee·2025-05-15 01:11

Pytorch之保存和加载预训练的模型

在深度学习中会用到迁移学习的方法，也就是我们把在其它数据集上训练比较好的model拿到我们的模型上来进行finetune,这样避免了我们重新去花费时间去训练模型，比如vgg16提取图像特征的这个模型，大大节省了我们训练的时间

BlackMan_阿伟·2025-05-14 04:55

基于pytorch的卷积神经网络量化实现

2，可指定模型进行定点话，并输出量化后参数统计和finetune，可设置任意bit量化。

踟蹰横渡口,彳亍上滩舟。·2025-03-30 10:24

大模型最新面试题系列：微调篇之微调基础知识

一、全参数微调（Full-Finetune）vs参数高效微调（PEFT）对比1.显存使用差异全参数微调：需存储所有参数的梯度（如GPT-3175B模型全量微调需约2.3TB显存）PEFT：以LoRA为例

人肉推土机·2025-03-22 05:42

【笔试面试】秒懂深度学习模型小型化：蒸馏法、剪枝…

剪枝：网络剪枝的主要思想就是将权重矩阵中相对“不重要”的权值剔除，然后再重新finetune网络进行微调。

聊北辰同学·2025-03-12 11:08

【深度学习】预训练和微调概述

预训练和微调的介绍1.1预训练（Pretraining）1.2微调（Fine-Tuning）2.预训练和微调的区别预训练和微调是现代深度学习模型训练中的两个关键步骤，它们通常是一个预训练-微调(Pretrain-Finetune

CS_木成河·2025-02-21 22:35

（15-3）DeepSeek混合专家模型初探：模型微调

3.4模型微调在本项目中，微调脚本文件finetune.py提供了一套全面的工具，用于对DeepSeek-MoE预训练语言模型进行微调。

码农三叔·2025-02-16 16:35

60分钟吃掉ChatGLM2-6b微调范例~

干货预警：这可能是你能够找到的最容易懂的，最完整的，适用于各种NLP任务的开源LLM的finetune教程~ChatGLM2-6b是清华开源的小尺寸LLM，只需要一块普通的显卡(32G较稳妥)即可推理和微调

算法美食屋·2024-02-20 14:59

peft库编写逻辑分析

Peft库编写逻辑分析（以LLaMa+prefix为例）Peft库加载finetune模型分析Peft生成代码importtorchfrompeftimportPeftModelfromtransformersimport

瓶子好亮·2024-02-19 15:17

基于 InternLM 和 LangChain 搭建你的知识库(三)

基于InternLM和LangChain搭建你的知识库大模型开发范式Finetune在大型语言模型中，Finetune（微调）是一种技术，用于调整预训练的模型以提高其在特定任务或数据集上的表现。

骆驼穿针眼·2024-02-19 12:41

Task6 基于深度学习的文本分类3

基于深度学习的文本分类学习目标了解Transformer的原理和基于预训练语言模型（Bert）的词表示学会Bert的使用，具体包括pretrain和finetune文本表示方法Part4Transformer

listentorain_W·2024-02-15 07:53

Finetune时更改tokenizer词表

由于模型训练的需要，当前词表对分词操作不理想，因此选择修改tokenizer词表～在special_tokens中添加不想被拆分开的单词或者文字special_tokens=[]withopen("待添加词所在文件","r")asf_vocab:forlineinf_vocab:special_tokens.append(line.strip())tokenizer=AutoTokenizer.f

Alicesla·2024-02-09 19:20

ChatGLM3微调遇到的坑

ChatGLM3·Discussion#253·GitHubshiTraceback(mostrecentcalllast):File"/opt/projects/chatglm3-test/scripts/finetune.py

才神·2024-02-09 11:15

先跑一跑Depth Anything

当然，项目也提供了用于Finetune的预训练模型。

赛先生.AI·2024-02-08 03:41

【ChatGLM3】微调指南

下载数据集ToolAlpaca从GitHub下载cdChatGLM3/finetune_chatmodel_demogitclonehttps://github.com/tangqiaoyu/ToolAlpaca.git

太空眼睛·2024-02-06 17:38

caffe中的参考模型

RCNNmode_reference_rcnn_ilsvrc13l.pngcaffenet用于Flickrstyle数据集model_finetune_flickr_style.pngAlexNetmodel_alexnet.pnggooglenetmodel_googlenet.pngcaffenetmodel_reference_caffenet.png

雨住多一横·2024-02-06 03:48

《Robust Consistent Video Depth Estimation》论文笔记

之后再在输入的视频序列上使用在线finetune形式交替进行深度估计结果与相机位姿

m_buddy·2024-02-02 20:28

大模型微调学习之旅③ — 基于 InternLM 和 LangChain 搭建你的知识库

目录一、大模型开发范式1、通用大模型的局限性：2、解决通用大模型范式的两种解决思路：①检索增强生成（RAG）②延呈传统自然语言处理算法微调（Finetune）二、LangChain简介①什么是LangChain②LangChain

Hoo K·2024-01-30 08:08

【XTuner 大模型单卡低成本微调实战】学习笔记

参考学习教程【XTuner大模型单卡低成本微调实战】理论Finetune简介大语言模型微调模式增量预训练指令跟随微调LoRA和QLoRAXtuner介绍实战自定义微调用MedicationQA数据集进行微调将数据转为

尘汐筠竹·2024-01-29 05:46

Pytorch分布式训练：DDP

上回测试ChatGLM3-6B推理都消耗了8G，单卡全参数训练可能够呛了，研究一下多卡分布式的，后续做chatGLM的finetune。

Silver__Wolf·2024-01-26 18:04

书生·浦语大模型--第四节课笔记--XTuner大模型单卡低成本微调

文章目录Finetune简介指令跟随微调增量预训练微调LoRAQLoRAXTuner介绍快速上手8GB显卡玩转LLM动手实战环节Finetune简介增量预训练和指令跟随通过指令微调获得instructedLLM

李日音·2024-01-25 21:02

书生·浦语大模型实战营-学习笔记4

XTuner大模型单卡低成本微调实战Finetune简介常见的两种微调策略：增量预训练、指令跟随指令跟随微调数据是一问一答的形式对话模板构建每个开源模型使用的对话模板都不相同指令微调原理：由于只有答案部分是我们期望模型来进行回答的内容

Kinno酱·2024-01-24 05:22

【书生·浦语大模型实战营第3课】基于 InternLM 和 LangChain 搭建你的知识库

A-Little-Boy·2024-01-24 04:16

3 文本分类入门finetune：bert-base-chinese

项目实战：数据准备工作`bert-base-chinese`是一种预训练的语言模型，基于BERT（BidirectionalEncoderRepresentationsfromTransformers）架构，专门用于中文自然语言处理任务。BERT是由Google在2018年提出的一种革命性的预训练模型，通过大规模的无监督训练，能够学习到丰富的语言表示。`bert-base-chinese`是BER

汀沿河·2024-01-23 09:59

【书生·浦语大模型实战营04】《(4)XTuner 大模型单卡低成本微调实战》学习笔记

《(4)XTuner大模型单卡低成本微调实战》课程文档：《XTuner大模型单卡低成本微调实战》1Finetune简介LLM的下游应用中，增量预训练和指令跟随是经常会用到两种的微调模式1.1增量预训练微调使用场景

songyuc·2024-01-21 02:46

书生·浦语大模型实战营第四节课笔记及作业

XTuner大模型单卡低成本微调实战1Finetune简介大语言模型LLM是在海量的文本内容基础上，以无监督或半监督方式进行训练的。海量的文本内容赋予了大模型各种各样的行业知识。

zpc1219·2024-01-19 17:30

书生·浦语大模型实战营笔记-第四节 XTuner 大模型单卡低成本微调实战

书生·浦语大模型实战营笔记第四节XTuner大模型单卡低成本微调实战文章目录书生·浦语大模型实战营笔记前言一、Finetune简介1.1两种微调模式的简介1.2指令微调1.3增量预训练微调1.4LoRa

biscuit279·2024-01-19 17:29

书生·浦语大模型实战营04课堂笔记

一、Finetune简介1.LLM下游应用中，两种微调模式一种是增量预训练：使用场景是让基座模型学习到一些新知识，如某个垂类领域的常识。

残星流影·2024-01-19 17:29

大模型学习与实践笔记（六）

一、finetune简介两种微调模式：增量预训练与指令跟随1.增量预训练2.指令微调二、LoRA与QLoRA介绍三、XTuner介绍四、低显存玩转LLM的方法

AllYoung_362·2024-01-19 10:24

LLM大模型工程入门级知识初探

文章目录前言一、Prompt工程二、模型微调finetune(如multilora)三、代码执行CodeInterpreter四、函数支持FunctionCall五、外部集成LangChain六、Embedding

无一郎的技术圈·2024-01-17 02:06

书生·浦语大模型--第三节课笔记--基于 InternLM 和 LangChain 搭建你的知识库

Finetune（微调）

李日音·2024-01-16 22:45

Mindspore 公开课 - GPT

GPTTask在模型finetune中，需要根据不同的下游任务来处理输入，主要的下游任务可分为以下四类：分类（Classification）：给定一个输入文本，将其分为若干类别中的一类，如情感分类、新闻分类等

coyote_xujie·2024-01-15 22:12

大模型听课笔记——书生·浦语（4）

Finetune简介而由于训练成本太过昂贵，增量训练和指令跟随是两种常用的微调模式。指令跟随示意图：指令跟随微调的实现示意由于不同的微

亲爱的阿基米德^·2024-01-15 21:11

【paddlenp】uie关键信息提取模型finetune全流程

数据标注数据标注平台doccano：https://github.com/doccano/doccano安装doccano：pipinstalldoccano完成安装后，运行：doccanoinitdoccanocreateuser--usernameadmin--passwordpassdoccanowebserver--port8000在另一个终端，运行：doccanotask然后打开网址ht

君莫默·2024-01-15 18:49

书生·浦语大模型实战营笔记（三）

RAG：检索增强生成外挂知识库，对用户的问题首先从知识库中找到相关回答，再把问题和回答交给大模型，可以提高知识储备特点：可实时更新，新知识只要放到知识库中即可，较简单Finetune：微调对于新的数据集

三省斋主·2024-01-15 07:45

书生·浦语大模型实战营笔记（四）

Finetune模型微调直接使用现成的大语言模型，在某些场景下效果不好，需要根据具体场景进行微调增量预训练：投喂垂类领域知识陈述形式，无问答，即只有assistant指令跟随：system-user-assistantXTunerXTuner

三省斋主·2024-01-15 07:09

大模型实战营Day4 XTuner大模型单卡低成本微调实战

FINETUNE简介LLM下游应用中，增量预训练和指令跟随是经常会用到的两种微调模式指令跟随微调使用场景：让模型学会对话模板，根据人类指令进行对话训练数据：高质量的对话，问答数据为什么需要指令微调？

流浪德意志·2024-01-14 17:37

[书生·浦语大模型实战营]——XTuner 大模型单卡低成本微调

1.Finetune简介在未经过微调的pretrainedLLM中，模型只会尽量去拟合你的输入，也就是说模型并没有意识到你在提问，因此需要微调来修正。

不是吧这都有重名·2024-01-14 14:45

InternLM第4次课笔记

XTuner大模型单卡低成本微调实战1Finetune介绍2XTuner介绍XTuner中微调的技术：38GB显卡玩转LLM4动手实战环节https://github.com/InternLM/tutorial

Jamiechoi·2024-01-14 12:55

大模型实战笔记04——XTuner 大模型单卡低成本微调实战

大模型实战笔记04——XTuner大模型单卡低成本微调实战1、Finetune简介2、XTuner3、8GB显存玩转LLM4、动手实战环节注：笔记内容均为截图课程视频地址：https://www.bilibili.com

等风来随风飘·2024-01-14 00:44

【InternLM 大模型实战】第三课

基于InternLM和LangChain搭建你的知识库大模型开发范式RAG（检索增强生成）FINETUNE（微调）LangChain简介构建向量数据库加载源文件文档分块文档向量化搭建知识库助手构建检索问答链

卖小麦←_←·2024-01-13 21:14

【InternLM 大模型实战】第四课

XTuner大模型单卡低成本微调实战FINETUNE简介指令跟随微调增量预训练微调LoRA&QLoRAXTuner简介功能亮点适配多种生态适配多种硬件8GB显卡玩转LLMFlashAttentionDeepSpeedZeRO

卖小麦←_←·2024-01-13 21:07

XTuner 大模型单卡低成本微调实战

XTuner大模型单卡低成本微调实战Finetune简介增量预训练微调指令跟随微调LoRAXTuner介绍功能亮点8GB显存玩转LLMFlashAttentionDeepSpeedZeRO上手操作平台激活环境微调参考教程

桑_榆·2024-01-13 17:16

书生.浦语大模型LangChain实战

RAG（Retrieval-AugmentedGeneration）与Finetune传统大模型有以下几点问题：无法及时更新知识知识面广，但在专业领域深度不够为了解决以上诸多问题，有很多尝试方案。

时空摆渡者·2024-01-13 16:37

XTuner 大模型单卡低成本微调原理

文章目录Finetune简介增量预训练微调指令跟随微调微调原理XTuner微调框架XTuner数据引擎XTuner微调的优化策略动手实战Finetune简介微调模式：增量预训练微调使用场景：让基座模型学习到一些新知识

爱科研的瞌睡虫·2024-01-13 13:20

pytorch11：模型加载与保存、finetune迁移训练

目录一、模型加载与保存1.1序列化与反序列化概念1.2pytorch中的序列化与反序列化1.3模型保存的两种方法1.4模型加载两种方法二、断点训练2.1断点保存代码2.2断点恢复代码三、finetune3.1

慕溪同学·2024-01-12 03:14

大模型学习第四课

学习目标：XTuner大模型单卡低成本微调实战学习内容：Finetune简介XTuner介绍8GB显卡玩转LLM动手实战环节学习时间：20240110学习产出：Finetune简介增量预训练微调指令跟随微调

敲键盘的喵桑·2024-01-11 21:38

大模型学习之书生·浦语大模型3——基于InternLM和LangChain搭建知识库

uncle_ll·2024-01-10 07:43

推荐频道