TUNING

“大语言模型微调”（Fine-tuning）与“大语言模型应用”（LLM Applications）之间的区别

方法：可以是全参数微调，也可以采用参数高效微调（如LoRA、Adapter、PrefixTuning等），后者只调整部分参数而保持原有权重

AI Echoes·2025-03-11 09:06

如何对大模型进行微调？从原理到实战全解析

随着大语言模型（LLM）的快速发展，微调（Fine-tuning）已成为将通用模型转化为垂直领域专家的核心技术。

挣扎与觉醒中的技术人·2025-03-11 05:32

Bert学习笔记

问题：预训练任务与微调任务不一致原因：在finetuning期间从未看到[MASK]token，预训练和finetunin

缓释多巴胺。·2025-03-07 09:05

llama-factory 记录

GitHub-hiyouga/LLaMA-Factory:UnifiedEfficientFine-Tuningof100+LLMs&VLMs(ACL2024)安装gitclonehttps://github.com

嘟嘟Listing·2025-03-07 08:31

LLaMA-Factory使用命令

Weprovidediverseexamplesaboutfine-tuningLLMs.MakesuretoexecutethesecommandsintheLLaMA-Factorydirectory.TableofContentsLoRAFine-TuningQLoRAFine-TuningFull-ParameterFine-TuningMergingLoRAAdaptersandQuan

asd8705·2025-03-06 23:54

微调（Fine-tuning）

微调（Fine-tuning）是自然语言处理（NLP）和深度学习中的一种常见技术，用于将预训练模型（Pre-trainedModel）适配到特定任务上。

路野yue·2025-03-04 20:49

llama_factory微调QWen1.5

GitHub-hiyouga/LLaMA-Factory:UnifyEfficientFine-Tuningof100+LLMsUnifyEfficientFine-Tuningof100+LLMs.Contributetohiyouga

Kun Li·2025-03-03 02:50

前言：什么是大模型微调

大模型微调（Fine-tuning）是指在预训练模型的基础上，针对特定的任务或数据集进行进一步训练的过程。预训练模型通常在大规模的通用数据上训练，具备广泛的语言理解和生成能力。

伯牙碎琴·2025-02-28 04:26

Python微调DeepSeek-R1-Distill-Qwen-1.5B模型：使用Transformers和PyTorch进行训练

为了让这些模型更加适应特定任务，我们通常会进行微调（Fine-tuning）。

煤炭里de黑猫·2025-02-25 21:02

大语言模型训练数据集格式

1.SFT（有监督微调）的数据集格式对于大语言模型的训练中，SFT（SupervisedFine-Tuning）的数据集格式可以采用以下方式：输入数据：输入数据是一个文本序列，通常是一个句子或者一个段落

香菜烤面包·2025-02-23 16:13

大模型训练 && 微调数据格式

对于大语言模型的训练中，SFT（SupervisedFine-Tuning）的数据集格式可以采用以下方式：输入数据：输入数据是一个文本序列，通常是一个句子或者一个段落。

comli_cn·2025-02-23 16:43

【深度学习】预训练和微调概述

预训练和微调概述1.预训练和微调的介绍1.1预训练（Pretraining）1.2微调（Fine-Tuning）2.预训练和微调的区别预训练和微调是现代深度学习模型训练中的两个关键步骤，它们通常是一个预训练

CS_木成河·2025-02-21 22:35

GPT (Generative Pre-trained Transformer)

GPT模型通过大规模无监督预训练，使用大量的文本数据进行学习，然后再进行微调（fine-tuning）来适应具体的下游任务。

彬彬侠·2025-02-20 19:07

Hyperparameter Tuning 原理与代码实战案例讲解

HyperparameterTuning原理与代码实战案例讲解作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming关键词：超参数调优，模型选择，性能提升，代码实战

AGI大模型与大数据研究院·2025-02-18 22:03

【大模型】数据集构造方式

1.Alpaca数据格式Alpaca数据格式最早由StanfordAlpaca项目提出，目的是用来微调大语言模型（LLM），特别是用于InstructionTuning（指令微调）。

油泼辣子多加·2025-02-18 22:02

SFT（监督微调）和RLHF（基于人类反馈的强化学习）的区别

SFT（监督微调）和RLHF（基于人类反馈的强化学习）的区别STF（SupervisedFine-Tuning）和RLHF（ReinforcementLearningfromHumanFeedback）

钟小宇·2025-02-18 18:11

sql server 跟踪存储过程

使用sqlserverprofile跟踪，选择模板Tuning，筛选列spid，选择执行的spid

woshilys·2025-02-18 00:41

一、大模型微调的前沿技术与应用

大模型微调的前沿技术与应用随着大规模预训练模型（如GPT、BERT、T5等）的广泛应用，大模型微调（Fine-Tuning,FT）成为了提升模型在特定任务中性能的关键技术。

伯牙碎琴·2025-02-16 20:31

大语言模型常用微调与基于SFT微调DeepSeek R1指南

概述大型语言模型（LLM，LargeLanguageModel）的微调（Fine-tuning）是指在一个预训练模型的基础上，使用特定领域或任务的数据对模型进行进一步训练，以使其在该领域或任务上表现更好

知来者逆·2025-02-16 16:08

LLM大模型中文开源数据集集锦（三）

文章目录1ChatGLM-Med:基于中文医学知识的ChatGLM模型微调1.1数据集1.2ChatGLM+P-tuningV2微调1.3Llama+Alpaca的Lora微调版本2LawGPT_zh：

悟乙己·2025-02-14 13:01

如何微调（Fine-tuning）大语言模型？看完这篇你就懂了！！

什么是微调（fine-tuning）？微调能解决什么问题？什么是LoRA？如何进行微调？本文将解答以上问题，并通过代码实例展示如何使用LoRA进行微调。

datian1234·2025-02-13 23:05

【深度学习】常见模型-GPT（Generative Pre-trained Transformer，生成式预训练 Transformer）

它能够通过大量无监督数据预训练，然后微调（Fine-tuning）以适应特

IT古董·2025-02-13 16:15

Dav_笔记12：Automatic SQL Tuning 之 3 SQL-Tuning

使用SQLTuningAdvisor进行无限调优您可以手动调用SQLTuningAdvisor以按需调整一个或多个SQL语句。要调整多个语句，必须创建SQL调优集（STS）。

Dav_2099·2025-02-13 14:03

一文读懂RAG

的特点四、基础RAG架构数据准备阶段应用阶段：五、RAG分类基础RAG(NaiveRAG)缺点高级RAG(AdvancedRAG)模块化RAG(ModularRAG)六、RAG(检索增强生成)vsFine-Tuning

wangziling123456·2025-02-12 22:58

Kamailio(OPENSER) 3.1.x INSTALL

cdsrcgitclone--depth1git://git.sip-router.org/sip-routerkamailiocdkamailiogitcheckout-b3.1origin/3.12,TuningMakefilesmakeFLAVOUR

gangban_lau·2025-02-12 19:03

大模型入门（六）—— RLHF微调大模型

一、RLHF微调三阶段参考：https://huggingface.co/blog/rlhf1）使用监督数据微调语言模型，和fine-tuning一致。

LLM.·2025-02-10 23:17

【oracle 学习路线图】

www.cnblogs.com/tango-dg/p/3771768.html初级阶段：可以从OCP教材开始，还有文档中的Administrator'sGuide、Concepts、PerformanceTuningGuide

Larry Chow·2025-02-09 21:37

接入deepseek构建RAG企业智能问答系统

让AI大模型“学习”业务知识的两种主要方法：微调（Fine-Tuning）：在预训练模型基础上根据特定任务和数据集调整参数。

da pai ge·2025-02-09 16:08

大模型(LLM)微调并不复杂，数据才是关键：3个实例详解数据准备

今天咱们聊聊一个听起来很高大上的词——微调（Fine-Tuning）。听说过吗？

程序员二飞·2025-02-08 01:21

【机器学习】机器学习重要方法——迁移学习：理论、方法与实践

文章目录迁移学习：理论、方法与实践引言第一章迁移学习的基本概念1.1什么是迁移学习1.2迁移学习的类型1.3迁移学习的优势第二章迁移学习的核心方法2.1特征重用（FeatureReuse）2.2微调（Fine-Tuning

E绵绵·2025-02-06 22:52

【大模型LLM面试合集】训练数据_数据格式

对于大语言模型的训练中，SFT（SupervisedFine-Tuning）的数据集格式可以采用以下方式：输入数据：输入数据是一个文本序列，通常是一个句子或者一个段落。

X.AI666·2025-02-06 18:28

LLM 算法工程师的速成指南：微调、强化学习微调与偏好微调

OpenAI近期在直播中，提到了两个新的概念：①强化学习微调（ReinforcementFine-Tuning）：仅需少量高质量数据（数十到数千个），模型即可通过强化学习处理复杂任务。

大模型玩家·2025-02-05 16:24

【漫话机器学习系列】079.超参数调优（Hyperparameter Tuning）

超参数调优（HyperparameterTuning）是机器学习中优化模型性能的重要步骤之一。超参数是模型在训练之前设定的参数，而不是通过训练数据学习到的参数。

IT古董·2025-02-04 11:44

AI模型升级版0.02

pps-key·2025-02-03 02:51

在Windows上用Llama Factory微调Llama 3的基本操作

llama3:8b大模型_llama3模型微调保存-CSDN博客也可以参考LlamaFactory的Readme：GitHub-hiyouga/LLaMA-Factory:UnifyEfficientFine-Tuningof100

蛐蛐蛐·2025-02-02 13:16

【llm对话系统】大模型 Llama 源码分析之 LoRA 微调

1.引言微调(Fine-tuning)是将预训练大模型(LLM)应用于下游任务的常用方法。然而，直接微调大模型的所有参数通常需要大量的计算资源和内存。

kakaZhui·2025-02-02 13:14

【学习心得】Python好库推荐——PEFT

PEFT（Parameter-EfficientFine-Tuning）是一种在深度学习中进行参数高效微调的技术。

小oo呆·2025-02-01 06:48

AI大模型在智能客服系统中的应用

对话生成与上下文管理对话生成上下文管理3.提高客服系统响应精度的策略1.使用专门训练的数据集2.引入实体识别和意图分类3.反馈循环和持续优化4.AI大模型在企业中的优化与调优策略1.模型微调（Fine-tuning

季风泯灭的季节·2025-02-01 04:33

表格化数据处理中大语言模型的微调优化策略研究

论文地址ResearchonFine-TuningOptimizationStrategiesforLargeLanguageModelsinTabularDataProcessing论文主要内容这篇论文的主要内容是研究大型语言模型

C7211BA·2025-01-31 23:25

Ubuntu交叉编译 arm板子上的TVM

目录X86Ubuntu的TVM安装LLVM下载tvm配置config.cmake编译源码python安装测试是否安装成功可以在安装一些库，用于RPCTracker和auto-tuning交叉编译801arm

陈有爱·2025-01-30 19:54

DeepSeek V3 模型微调（SFT）技术详解

DeepSeekV3模型微调（SFT）技术详解目录引言背景知识2.1深度学习与预训练模型2.2微调（Fine-tuning）的概念2.3监督微调（SupervisedFine-tuning,SFT）DeepSeekV3

zhangjiaofa·2025-01-30 00:28

万字精研：大型语言模型微调Fine-Tuning技术——14种主流方法的原理、适用场景及实践指南

万字精研：大型语言模型微调Fine-Tuning技术——14种主流方法的原理、适用场景及实践指南LLM训练时间和的成本太过庞大，况且个人卷训练经验极为困难，不妨从微调开始搞起。

汀、人工智能·2025-01-29 15:40

大语言模型LLM基础扫盲速通版

9.2在LLM中，微调(fine-tuning)是什么？9.3模型大小如何影响LLM的性能？9.4LLM能生

SmallerFL·2025-01-27 00:40

个性化的语言模型构建思路

将开源模型（如Llama3、Qwen、Falcon3…等）转变为个人专属的大语言模型，通常涉及知识库的构建、微调（fine-tuning）和模型定制等步骤。

由数入道·2025-01-23 11:19

增强大型语言模型（LLM）可访问性：深入探究在单块AMD GPU上通过QLoRA微调Llama 2的过程

EnhancingLLMAccessibility:ADeepDiveintoQLoRAThroughFine-tuningLlama2onasingleAMDGPU—ROCmBlogs基于之前的博客《

109702008·2025-01-22 11:35

大语言模型原理基础与前沿指令生成

大语言模型、指令生成、Transformer、BERT、GPT、LLaMA、Fine-tuning、PromptEngineering1.背景介绍近年来，大语言模型（LargeLanguageModels

AI大模型应用之禅·2025-01-22 07:04

探索未来视频创作：Tune-A-Video项目深度解析

探索未来视频创作：Tune-A-Video项目深度解析Tune-A-Video[ICCV2023]Tune-A-Video:One-ShotTuningofImageDiffusionModelsforText-to-VideoGeneration

刘通双Elsie·2025-01-20 22:14

深度学习-45-大型语言模型LLM之本地化部署运行自己的大模型

2.4LLM的结构2.4.1Transformer2.4.2Prompts2.4.3FineTuning3本地跑大模型3.1Ollama运行开源LLM3.1.1启动并运行3.1.2使用api访问3.1.3

皮皮冰燃·2025-01-19 04:58

吴恩达系列——微调（Fine-tuning）与生成模型的应用

微调（Fine-tuning）是指在已有预训练模型的基础上，对模型进行进一步训练，以适应特定任务或需求。

疯狂小料·2025-01-18 21:04

LLM 词汇表

Fine-tuning微调是使用额外的数据进一步训练预训练语言模型的过程。这使得模型开始表示和模仿微调数

落难Coder·2024-09-16 10:22

推荐频道