微调

手把手教学，DeepSeek-R1微调全流程拆解

手把手教学，DeepSeek-R1微调全流程拆解原创极客见识GeekSavvy2025年02月09日09:02广东DeepSeek通过发布其开源推理模型DeepSeek-R1颠覆了AI格局，该模型使用创新的强化学习技术
AI生成曾小健·2025-02-12 05:01

开源模型应用落地-qwen2-7b-instruct-LoRA微调&合并-ms-swift-单机多卡-RTX 4090双卡（十五）

一、前言本篇文章将使用ms-swift去合并微调后的模型权重，通过阅读本文，您将能够更好地掌握这些关键技术，理解其中的关键技术要点，并应用于自己的项目中。
开源技术探险家·2025-02-12 04:50

揭幕 DeepSeek-V2.5-1210：革新人工智能能力

技术背景DeepSeek-V2.5-1210在DeepSeekV2系列的基础上进行了微调，利用后训练迭代提升了其在数学、编程、写作和
吴脑的键客·2025-02-12 03:16

【NLP算法面经】NLP算法面经 -- 腾讯 VS 美团（附面题）

博客主页：[青松]目录【NLP百面百过】大模型算法高频面题（全面整理ʘ‿ʘ）一、大模型（LLMs）基础面大模型（LLMs）架构篇注意力机制（Attention）篇Transformer理论篇二、大模型微调面有监督微调
青松ᵃⁱ·2025-02-11 13:37

大模型入门（六）—— RLHF微调大模型

一、RLHF微调三阶段参考：https://huggingface.co/blog/rlhf1）使用监督数据微调语言模型，和fine-tuning一致。
LLM.·2025-02-10 23:17

【Neo4j 】学习笔记：GraphRAG 宣言：为 GenAI 添加知识

或者微调，或者GPT-5。是的。基于向量的RAG和微调等技术可以提供帮助。它们对于某些用例来说已经足够
等风来不如迎风去·2025-02-10 16:53

大模型学习笔记 - LLM 对齐优化算法 DPO

概述大模型预训练是从大量语料中进行无监督学习，语料库内容混杂，训练的目标是语言模型损失，任务是nexttokenprediction，生成的token不可控，为了让大模型能生成符合人类偏好的答案(无毒无害等）一般都会进行微调和人类对齐
JL_Jessie·2025-02-10 03:54

微调大模型【已成功】

环境%%capture#InstallsUnsloth,Xformers(FlashAttention)andallotherpackages!!pipinstall"unsloth[colab-new]@git+https://github.com/unslothai/unsloth.git"#WehavetocheckwhichTorchversionforXformers(2.3->0.0.
捏塔·2025-02-09 18:20

从零开始构建一个大语言模型-第六章第一节

第六章目录6.1不同类型的微调6.2准备数据集6.3创建数据加载器6.4用预训练权重初始化模型6.5添加分类头6.6计算分类损失和准确率6.7在有监督数据上微调模型6.8将大语言模型用作垃圾邮件分类器本章内容涵盖介绍不同的大语言模型微调方法为文本分类准备数据集修改预训练大语言模型以进行微调使用微调后的大语言模型对新数据进行分类到目前为止
释迦呼呼·2025-02-09 18:17

T5模型-基于Transformer架构的通用文本到文本转换模型

通过预训练和微调，T5模型可以用于广泛的
Jiang_Immortals·2025-02-09 16:09

接入deepseek构建RAG企业智能问答系统

让AI大模型“学习”业务知识的两种主要方法：微调（Fine-Tuning）：在预训练模型基础上根据特定任务和数据集调整参数。
da pai ge·2025-02-09 16:08

基于 llama-Factory 动手实践 Llama 全参数 SFT 和 LoRA SFT

一、llama-Factory：你的Llama模型SFT工厂llama-Factory是一个开源的、用户友好的工具，专门用于对Llama系列模型进行微调。
kakaZhui·2025-02-09 12:36

蒸馏：让DeepSeek用“移魂大法”增强你的小模型

在DeepSeekR1的技术报告中，使用DeepSeek-R1生成的推理数据，微调了几个广泛使用的开源模型。评估结果表明，蒸馏后的较
AI生成曾小健·2025-02-09 11:58

熬夜整理模型下载、量化、代码调用可免费使用离线部署的上千个国内外开源大模型梳理，整理开源的大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等

熬夜整理模型下载、量化、代码调用，可免费使用离线部署的上千个国内外开源大模型梳理，整理开源的大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等
代码讲故事·2025-02-08 15:32

深度学习的文本生成：从seq2seq到GPT2和GPT3

1.2Transformer模型1.2.1自注意力机制1.2.2位置编码1.2.3多头注意力1.2.4训练1.3GPT（GenerativePre-trainedTransformer）模型1.3.1预训练1.3.2微调
AI天才研究院·2025-02-08 11:33

DeepSeek模型与OpenAI模型原理和技术架构的异同分析

DeepSeek模型与OpenAI模型原理和技术架构的异同分析一、模型原理（一）DeepSeekR1DeepSeekR1的核心原理是基于强化学习（RL）的训练方式，其创新之处在于不依赖任何监督微调（SFT
程序猿000001号·2025-02-08 04:10

大模型(LLM)微调并不复杂，数据才是关键：3个实例详解数据准备

今天咱们聊聊一个听起来很高大上的词——微调（Fine-Tuning）。听说过吗？
程序员二飞·2025-02-08 01:21

AI商业化：如何包装技术并找到客户需求？

一、引言在过去几年里，从GPT、Transformer到DeepSeek，以及分布式训练和微调技术的发展，为AI技术带来了质的飞跃。然而，光有先进的技术并不足以实现商业成功。如何将这些技术包装成易于
hjy1821·2025-02-07 17:34

传统AI算法工程师转型指南：如何成功切入大模型领域赛道“

在做项目的过程中，为了节省训练成本，阅读了很多peft（参数高效微调）的文献，并且实践了lor
大模型玩家·2025-02-07 17:33

大语言模型原理基础与前沿 高效的MoE架构

大语言模型原理基础与前沿高效的MoE架构关键词：大语言模型，MoE架构，参数高效微调，分布式训练，模型压缩，推理加速1.背景介绍1.1问题的由来随着深度学习技术的飞速发展，大语言模型（LargeLanguageModels
AI架构设计之禅·2025-02-07 13:39

基于 DeepSeek-R1 模型微调（SFT）技术详解

目录引言1.1大模型时代与微调的重要性1.2本文目的与结构概述DeepSeek-R1模型基础2.1模型简介2.1.1模型架构2.1.2预训练数据与目标2.2模型特点与优势2.2.1语言理解与生成能力2.2.2
zhangjiaofa·2025-02-07 10:43

大模型生态开源工具整理

最近一直在做大模型应用开发工作,总结下用到的一些开源工具1-模型训练LLaMA-Factory整体介绍LLaMA-Factory是一个开源的微调框架，为开发者提供简便高效的工具，以便在预训练模型基础上快速适应特定任务需求
miracletiger·2025-02-07 08:35

实例解析：RAG与模型微调的选择策略——三个简单案例帮你做出明智决策

我们重点来讨论几个案例，来看一下每个案例到底选择RAG，还是微调，或者是RAG+微调。
程序员老冉·2025-02-07 06:50

使用一个大语言模型对另一个大语言模型进行“调教”

使用一个大语言模型对另一个大语言模型进行“调教”（通常称为微调或适配），是一种常见的技术手段，用于让目标模型更好地适应特定的任务、领域或风格。
大霸王龙·2025-02-07 03:25

[论文笔记] Deepseek技术报告

1.总体概述背景与目标报告聚焦于利用强化学习（RL）提升大型语言模型（LLMs）的推理能力，旨在探索在不依赖大规模监督微调（SFT）的情况下，模型如何自我进化并形成强大的推理能力。
心心喵·2025-02-06 22:53

【机器学习】机器学习重要方法——迁移学习：理论、方法与实践

文章目录迁移学习：理论、方法与实践引言第一章迁移学习的基本概念1.1什么是迁移学习1.2迁移学习的类型1.3迁移学习的优势第二章迁移学习的核心方法2.1特征重用（FeatureReuse）2.2微调（Fine-Tuning
E绵绵·2025-02-06 22:52

【大模型LLM面试合集】训练数据_数据格式

数据格式1.SFT（有监督微调）的数据集格式？
X.AI666·2025-02-06 18:28

煤矿安全大模型：微调internlm2模型实现针对煤矿事故和煤矿安全知识的智能问答

煤矿安全大模型————矿途智护者使用煤矿历史事故案例，事故处理报告、安全规程规章制度、技术文档、煤矿从业人员入职考试题库等数据，微调internlm2模型实现针对煤矿事故和煤矿安全知识的智能问答。
汀、人工智能·2025-02-06 12:20

【Mamba之模型训练系列（四）】将 mamba 扩展到多模态大型语言模型，实现高效推理

将mamba扩展到多模态大型语言模型，实现高效推理背景知识与研究动机Cobra模型设计视觉编码器DINOv2SigLIP投影器Mamba语言模型主干训练策略训练数据训练阶段预训练阶段多模态指令调整阶段微调策略训练细节训练策略的关键结论实验验证实验设置性能比较推理速度消融研究关键结论参考文献这篇文章介绍了一个名为
愷创作者·2025-02-06 00:45

大语言模型本地化部署+可视化微调

目录本地化部署GLM4Qwen2大模型微调本地化部署2023年被称为人工智能（AI）元年，AI技术在全球范围内飞速发展，已经渗透到了各行各业。
科研小fw·2025-02-05 18:09

LLM 算法工程师的速成指南：微调、强化学习微调与偏好微调

OpenAI近期在直播中，提到了两个新的概念：①强化学习微调（ReinforcementFine-Tuning）：仅需少量高质量数据（数十到数千个），模型即可通过强化学习处理复杂任务。
大模型玩家·2025-02-05 16:24

用 Python 微调 DeepSeek R1

用Python微调DeepSeekR1阅读时长：15分钟发布时间：2025-02-05近日热文：全网最全的神经网络数学原理（代码和公式）直观解释欢迎关注知乎和公众号的专栏内容LLM架构专栏知乎LLM专栏知乎
·2025-02-05 13:24

从微调到部署全流程解析

从微调到部署全流程解析医疗人工智能正迎来爆发式增长，但在实际应用中，通用大模型往往存在医学知识不精准、诊断逻辑不严谨等问题。
明哲AI·2025-02-05 10:05

Ollama能本地部署Llama 3等大模型的原因解析（ollama核心架构、技术特性、实际应用）

文章目录前言1、Ollama的核心架构和技术能力1.1、高效模型加载和存储1.2、推理优化1.3、微调支持1.4、部署工具链2.、Llama3模型的技术特性2.1、模型架构2.2、模型性能3.
周杰伦_Jay·2025-02-05 03:19

DeepSeek 微调变得简单：使用 Python 创建自定义 AI 模型 学习针对所有用例微调 DeepSeek R1 模型

简介当每个人都竞相在ChatGPT上构建应用程序时，精明的开发人员正在悄悄发现DeepSeek-R1的微调功能，这是一颗隐藏的宝石，可以将通用人工智能转变为专业的数字专家。
知识大胖·2025-02-04 22:09

DeepSeek R1 AI 论文翻译

DeepSeek-R1-Zero是一个通过大规模强化学习（RL）训练的模型，且在此过程中未使用监督微调（SFT）作为预处理步骤，展现出了显著的推理能力。
·2025-02-04 14:27

RAG：本地部署Langchain-Ollma(Windows)

相较于微调技术，RAG能够更加短平快的吸纳本地知识并整合大模型进行问答。因此本地部署了一个基于Langchain+Ollma
MurphyStar·2025-02-04 12:26

DeepSeek- R1 原理介绍

是由DeepSeek公司推出的一款基于强化学习（RL）的开源推理模型，其核心原理和特点如下：1.核心技术与架构强化学习驱动：DeepSeek-R1是首个完全通过强化学习训练的大型语言模型，无需依赖监督微调
kcarly·2025-02-04 08:50

DeepSeek R1 AI 论文翻译

DeepSeek-R1-Zero是一个通过大规模强化学习（RL）训练的模型，且在此过程中未使用监督微调（SFT）作为预处理步骤，展现出了显著的推理能力。
老马啸西风·2025-02-04 06:04

MOE模型入门

如何训练、微调MOE模型？基础架构优缺点不同MOE模型实现方式、训练方法二、实现定义：MOE架构MOE:混合专家模型，多个专家共同决策的模型。
云帆@·2025-02-04 01:29

DeepSeek R1 AI 论文翻译

DeepSeek-R1-Zero是一个通过大规模强化学习（RL）训练的模型，且在此过程中未使用监督微调（SFT）作为预处理步骤，展现出了显著的推理能力。
·2025-02-03 20:09

周报 | 25.1.27-25.2.2文章汇总

周报|25.1.20-25.1.26文章汇总-CSDN博客机器学习AI算法工程|DeepSeekV3两周使用总结-CSDN博客Datawhale|一文详尽之SFT（监督微调，建议收藏）！
双木的木·2025-02-03 12:11

『大模型笔记』视觉语言模型解释

2.开源视觉语言模型概览3.如何找到合适的视觉语言模型MMMUMMBench4.技术细节5.使用变压器(transformers)运用视觉语言模型6.使用TRL微调视觉语言模型二.参考文章一.视觉语言模型解析视觉语言模型是一类能够同时从图像和文本中学习
AI大模型前沿研究·2025-02-03 05:40

详解大模型微调数据集构建方法(持续更新)

本文详细介绍了大模型微调数据集构建方法，希望能对学习大模型的同学们有所帮助。文章目录
herosunly·2025-02-03 04:03

AI模型升级版0.02

根据您的需求，我将提供一个升级版的AI对话模型的实现代码，该模型可以在Windows上运行，并支持训练和微调。我们将使用HuggingFace的transformers库和torch库来实现这个目标。
pps-key·2025-02-03 02:51

从零开始大模型开发与微调：汉字拼音数据集处理

从零开始大模型开发与微调：汉字拼音数据集处理1.背景介绍1.1问题的由来在人工智能领域，自然语言处理（NLP）是一项基础且重要的研究方向。
AGI大模型与大数据研究院·2025-02-02 22:43

微调特定于域的搜索的文本嵌入：附Python代码详解

微调特定于域的搜索的文本嵌入：附Python代码详解阅读时长：20分钟发布时间：2025-02-02近日热文：全网最全的神经网络数学原理（代码和公式）直观解释欢迎关注知乎和公众号的专栏内容LLM架构专栏知乎
·2025-02-02 14:07

在Windows上用Llama Factory微调Llama 3的基本操作

这篇博客参考了一些文章，例如：教程：利用LLaMA_Factory微调llama3:8b大模型_llama3模型微调保存-CSDN博客也可以参考LlamaFactory的Readme：GitHub-hiyouga
蛐蛐蛐·2025-02-02 13:16

【llm对话系统】大模型 Llama 源码分析之 LoRA 微调

1.引言微调(Fine-tuning)是将预训练大模型(LLM)应用于下游任务的常用方法。然而，直接微调大模型的所有参数通常需要大量的计算资源和内存。
kakaZhui·2025-02-02 13:14

XXL-JOB v2.4.2 发布 | 分布式任务调度平台

2、【优化】Cron解析组件代码重构微调，健壮性提升；3、【优化】修改密码交互调整，避免CSRF隐患；4、【优化】JdkSerializeTool流关闭逻辑优化；5、【优化】任务信息、执行日志API非功能设计完善
·2025-02-02 00:26
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他