tuning

大模型微调方法解析

随着大模型（如DeepSeek、LLaMA、QwQ等）的广泛应用，如何高效地通过微调（Fine-tuning）让通用模型适配垂直领域任务，成为行业关注的核心问题。
西木风落·2025-03-26 15:03

SFT和RLHF是什么意思？

环境：SFTRLHF问题描述：SFT和RLHF是什么意思解决方案：SFT（SupervisedFine-Tuning，监督微调）和RLHF（ReinforcementLearningfromHumanFeedback
玩人工智能的辣条哥·2025-03-25 00:15

大模型微调方法之Delta-tuning

大模型微调方法之Delta-tuning大模型微调方法自从23年之后可谓是百花齐放，浙大有团队在8月将关于大模型微调方法的综述上传了ArXiv。论文将微调方法总结为等几个类别。
空 白II·2025-03-24 20:09

当细致剪裁遇上大语言模型：从数据匹配到卓越性能的奇幻之旅

我们将透过一篇最新的研究《TheBestInstruction-TuningDataareThoseThatFit》，探索如何通过选择与目标模型分布高度契合的数据来优化监督式微调（SFT）的效果，以及这一方法如何
步子哥·2025-03-24 18:24

一、MySQL8的my.ini文件

目录下；而MySQL8.0.11绿色免安装版本是没有my.ini配置文件，用户可以自行构建后，再通过my.ini进行数据库的相关配置一、MySQL8.0.11默认的my.ini#Otherdefaulttuningvalues
零度百事·2025-03-23 09:15

一文说清楚什么是预训练（Pre-Training）、微调（Fine-Tuning），零基础小白建议收藏！！

前言预训练和微调是现代AI模型的核心技术，通过两者的结合，机器能够在处理复杂任务时表现得更为高效和精准。预训练为模型提供了广泛的语言能力，而微调则确保了模型能够根据特定任务进行细化和优化。近年来，人工智能（AI）在各个领域的突破性进展，尤其是在自然语言处理（NLP）方面，引起了广泛关注。两项重要的技术方法——预训练和微调，成为了AI模型发展的基石。预训练通常是指在大规模数据集上进行模型训练，以帮助
小城哇哇·2025-03-22 20:26

MiniMind

SFT数据：SFT（SupervisedFine-Tuning）数据集，用于监督式微调，可以提高模型在特定任务上的性能。DPO数据1和DPO数据2：这两个数
亚伯拉罕·黄肯·2025-03-22 14:46

【大模型系列】SFT（Supervised Fine-Tuning，监督微调）

欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java核心技术,jvm,并发编程redis,kafka,Spring,微服务等常用开发工具系列:常用的开发工具,IDEA,Mac,Alfred,Git,
Kwan的解忧杂货铺@新空间代码工作室·2025-03-22 02:20

一、大语言模型微调 vs. 大语言模型应用

一、大语言模型微调vs.大语言模型应用1.微调（Fine-Tuning）的含义与特点定义与作用微调指在预训练好（通用）的基础模型上，通过在特定领域或任务的数据集上进一步训练来调整模型参数，使其在该领域任务中获得更优表现
AI Echoes·2025-03-21 13:54

模型微调：让AI更懂你的魔法棒

模型微调：让AI更懂你的魔法棒✨在人工智能的世界里，模型微调（Fine-tuning）就像是一位魔法师用魔法棒对预训练模型进行“个性化改造”，让它更适应特定的任务。
带上一无所知的我·2025-03-20 14:10

部署微调框架LLaMA-Factory

ChatGLM3的github官方页面上能看到对LLaMA-Factory的推荐2.LLaMAFactorygithub链接hiyouga/LLaMA-Factory:UnifyEfficientFine-Tuningof100
高原魔女·2025-03-18 00:40

论文阅读笔记——QLORA: Efficient Finetuning of Quantized LLMs

QLoRA论文4-bit标准浮点数量化常见的量化技术是最大绝对值量化：XInt8=round(127absmax(XFP32)XFP32)=round(cFP32,XFP32)式(1)X^{Int8}=round(\frac{127}{absmax(X^{FP32})}X^{FP32})=round(c^{FP32},X^{FP32})\qquad\qquad\text{式(1)}XInt8=ro
寻丶幽风·2025-03-16 08:15

LLaMA-Factory 训练数据默认使用 instruction、input、output 三个 key

在LLaMA-Factory进行SFT（Directivesupervisionfine-tuning指令监督微调）时，训练数据的格式非常重要，因为大模型依赖标准化的数据结构来学习指令-响应模式。
背太阳的牧羊人·2025-03-16 08:43

大语言模型微调和大语言模型应用的区别？

1.基本概念微调（Fine-tuning）定义：微调是指在预训练大语言模型的基础上，通过在特定领域或任务的数据上进一步训练，从而使模型在该特定任务上表现更优。
AI Echoes·2025-03-15 05:38

大语言模型微调和大语言模型应用的区别？

1.定义与目标微调（Fine-tuning）目标：调整预训练模型（如GPT、LLaMA、PaLM）的参数，使其适应特定任务或领域。
AI Echoes·2025-03-15 04:34

Common Solder Defects and Root Cause Analysis

ofallsolderdefectscanbetracedbacktotheprintingdefectssuchassolderbridging,coldslumpandUnevenSolderPasteDepositwhilefinetuningthereflowprofiledobenefitandavoidsome
px5213344·2025-03-14 16:18

大模型高效优化技术全景解析：微调、量化、剪枝、梯度裁剪与蒸馏

目录微调（Fine-tuning）量化（Quantization）剪枝（Pruning）梯度裁剪（GradientClipping）知识蒸馏（KnowledgeDistillation）技术对比与协同策略总结与趋势
时光旅人01号·2025-03-14 15:40

【漫话机器学习系列】137.随机搜索（Randomized Search）

随机搜索（RandomizedSearch）详解在机器学习和深度学习的模型训练过程中，超参数调优（HyperparameterTuning）是至关重要的一环。
IT古董·2025-03-14 12:50

大语言模型（LLM）的微调与应用

一、微调与应用的核心区别目标差异微调（Fine-tuning）：针对预训练模型进行参数调整，使其适应特定任务或领域（如医疗问答、法律文本分析）。
AI Echoes·2025-03-13 03:50

LLM大模型技术实战6：一文总结大模型微调方法

用好大模型的第一个层次，是掌握提示词工程(PromptEngineering)用好大模型的第二个层次，是大模型的微调(FineTuning)，这也是今天这篇文章的主题。为什么要对大模型
AIG暴躁猫叔·2025-03-12 22:16

Adapter-Tuning：高效适配预训练模型的新任务

然而，Fine-Tuning这些大型模型通常需要大量计算资源，并且每个新任务都需要存储一套完整的微调权重，这导致存储成本高昂。
花千树-010·2025-03-12 22:15

【模型调优的深入分析与Python实践】

模型调优的深入分析与Python实践一、模型调优的定义与目标模型调优（ModelTuning）是通过系统化调整机器学习模型的超参数和结构参数，使模型在特定数据集上达到最佳性能的过程。
蝉叫醒了夏天·2025-03-12 15:30

“大语言模型微调”（Fine-tuning）与“大语言模型应用”（LLM Applications）之间的区别

方法：可以是全参数微调，也可以采用参数高效微调（如LoRA、Adapter、PrefixTuning等），后者只调整部分参数而保持原有权重
AI Echoes·2025-03-11 09:06

如何对大模型进行微调？从原理到实战全解析

随着大语言模型（LLM）的快速发展，微调（Fine-tuning）已成为将通用模型转化为垂直领域专家的核心技术。
挣扎与觉醒中的技术人·2025-03-11 05:32

Bert学习笔记

问题：预训练任务与微调任务不一致原因：在finetuning期间从未看到[MASK]token，预训练和finetunin
缓释多巴胺。·2025-03-07 09:05

llama-factory 记录

GitHub-hiyouga/LLaMA-Factory:UnifiedEfficientFine-Tuningof100+LLMs&VLMs(ACL2024)安装gitclonehttps://github.com
嘟嘟Listing·2025-03-07 08:31

LLaMA-Factory使用命令

Weprovidediverseexamplesaboutfine-tuningLLMs.MakesuretoexecutethesecommandsintheLLaMA-Factorydirectory.TableofContentsLoRAFine-TuningQLoRAFine-TuningFull-ParameterFine-TuningMergingLoRAAdaptersandQuan
asd8705·2025-03-06 23:54

微调（Fine-tuning）

微调（Fine-tuning）是自然语言处理（NLP）和深度学习中的一种常见技术，用于将预训练模型（Pre-trainedModel）适配到特定任务上。
路野yue·2025-03-04 20:49

llama_factory微调QWen1.5

GitHub-hiyouga/LLaMA-Factory:UnifyEfficientFine-Tuningof100+LLMsUnifyEfficientFine-Tuningof100+LLMs.Contributetohiyouga
Kun Li·2025-03-03 02:50

前言：什么是大模型微调

大模型微调（Fine-tuning）是指在预训练模型的基础上，针对特定的任务或数据集进行进一步训练的过程。预训练模型通常在大规模的通用数据上训练，具备广泛的语言理解和生成能力。
伯牙碎琴·2025-02-28 04:26

Python微调DeepSeek-R1-Distill-Qwen-1.5B模型：使用Transformers和PyTorch进行训练

为了让这些模型更加适应特定任务，我们通常会进行微调（Fine-tuning）。
煤炭里de黑猫·2025-02-25 21:02

大语言模型训练数据集格式

1.SFT（有监督微调）的数据集格式对于大语言模型的训练中，SFT（SupervisedFine-Tuning）的数据集格式可以采用以下方式：输入数据：输入数据是一个文本序列，通常是一个句子或者一个段落
香菜烤面包·2025-02-23 16:13

大模型训练 && 微调数据格式

对于大语言模型的训练中，SFT（SupervisedFine-Tuning）的数据集格式可以采用以下方式：输入数据：输入数据是一个文本序列，通常是一个句子或者一个段落。
comli_cn·2025-02-23 16:43

【深度学习】预训练和微调概述

预训练和微调概述1.预训练和微调的介绍1.1预训练（Pretraining）1.2微调（Fine-Tuning）2.预训练和微调的区别预训练和微调是现代深度学习模型训练中的两个关键步骤，它们通常是一个预训练
CS_木成河·2025-02-21 22:35

GPT (Generative Pre-trained Transformer)

GPT模型通过大规模无监督预训练，使用大量的文本数据进行学习，然后再进行微调（fine-tuning）来适应具体的下游任务。
彬彬侠·2025-02-20 19:07

Hyperparameter Tuning 原理与代码实战案例讲解

HyperparameterTuning原理与代码实战案例讲解作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming关键词：超参数调优，模型选择，性能提升，代码实战
AGI大模型与大数据研究院·2025-02-18 22:03

【大模型】数据集构造方式

1.Alpaca数据格式Alpaca数据格式最早由StanfordAlpaca项目提出，目的是用来微调大语言模型（LLM），特别是用于InstructionTuning（指令微调）。
油泼辣子多加·2025-02-18 22:02

SFT（监督微调）和RLHF（基于人类反馈的强化学习）的区别

SFT（监督微调）和RLHF（基于人类反馈的强化学习）的区别STF（SupervisedFine-Tuning）和RLHF（ReinforcementLearningfromHumanFeedback）
钟小宇·2025-02-18 18:11

sql server 跟踪存储过程

使用sqlserverprofile跟踪，选择模板Tuning，筛选列spid，选择执行的spid
woshilys·2025-02-18 00:41

一、大模型微调的前沿技术与应用

大模型微调的前沿技术与应用随着大规模预训练模型（如GPT、BERT、T5等）的广泛应用，大模型微调（Fine-Tuning,FT）成为了提升模型在特定任务中性能的关键技术。
伯牙碎琴·2025-02-16 20:31

大语言模型常用微调与基于SFT微调DeepSeek R1指南

概述大型语言模型（LLM，LargeLanguageModel）的微调（Fine-tuning）是指在一个预训练模型的基础上，使用特定领域或任务的数据对模型进行进一步训练，以使其在该领域或任务上表现更好
知来者逆·2025-02-16 16:08

LLM大模型中文开源数据集集锦（三）

文章目录1ChatGLM-Med:基于中文医学知识的ChatGLM模型微调1.1数据集1.2ChatGLM+P-tuningV2微调1.3Llama+Alpaca的Lora微调版本2LawGPT_zh：
悟乙己·2025-02-14 13:01

如何微调（Fine-tuning）大语言模型？看完这篇你就懂了！！

什么是微调（fine-tuning）？微调能解决什么问题？什么是LoRA？如何进行微调？本文将解答以上问题，并通过代码实例展示如何使用LoRA进行微调。
datian1234·2025-02-13 23:05

【深度学习】常见模型-GPT（Generative Pre-trained Transformer，生成式预训练 Transformer）

它能够通过大量无监督数据预训练，然后微调（Fine-tuning）以适应特
IT古董·2025-02-13 16:15

Dav_笔记12：Automatic SQL Tuning 之 3 SQL-Tuning

使用SQLTuningAdvisor进行无限调优您可以手动调用SQLTuningAdvisor以按需调整一个或多个SQL语句。要调整多个语句，必须创建SQL调优集（STS）。
Dav_2099·2025-02-13 14:03

一文读懂RAG

的特点四、基础RAG架构数据准备阶段应用阶段：五、RAG分类基础RAG(NaiveRAG)缺点高级RAG(AdvancedRAG)模块化RAG(ModularRAG)六、RAG(检索增强生成)vsFine-Tuning
wangziling123456·2025-02-12 22:58

Kamailio(OPENSER) 3.1.x INSTALL

cdsrcgitclone--depth1git://git.sip-router.org/sip-routerkamailiocdkamailiogitcheckout-b3.1origin/3.12,TuningMakefilesmakeFLAVOUR
gangban_lau·2025-02-12 19:03

大模型入门（六）—— RLHF微调大模型

一、RLHF微调三阶段参考：https://huggingface.co/blog/rlhf1）使用监督数据微调语言模型，和fine-tuning一致。
LLM.·2025-02-10 23:17

【oracle 学习路线图】

www.cnblogs.com/tango-dg/p/3771768.html初级阶段：可以从OCP教材开始，还有文档中的Administrator'sGuide、Concepts、PerformanceTuningGuide
Larry Chow·2025-02-09 21:37

接入deepseek构建RAG企业智能问答系统

让AI大模型“学习”业务知识的两种主要方法：微调（Fine-Tuning）：在预训练模型基础上根据特定任务和数据集调整参数。
da pai ge·2025-02-09 16:08
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他