指令集微调

一、大模型微调的前沿技术与应用

大模型微调的前沿技术与应用随着大规模预训练模型（如GPT、BERT、T5等）的广泛应用，大模型微调（Fine-Tuning,FT）成为了提升模型在特定任务中性能的关键技术。

伯牙碎琴·2025-02-16 20:31

根据deepseek模型微调训练自动驾驶模型及数据集的思路

以下是使用DeepSeek模型微调训练自动驾驶模型的详细步骤和代码示例。本流程假设你已有自动驾驶领域的数据集（如驾驶指令、传感器数据等），并基于PyTorch框架实现。

ywfwyht·2025-02-16 19:28

大语言模型常用微调与基于SFT微调DeepSeek R1指南

概述大型语言模型（LLM，LargeLanguageModel）的微调（Fine-tuning）是指在一个预训练模型的基础上，使用特定领域或任务的数据对模型进行进一步训练，以使其在该领域或任务上表现更好

知来者逆·2025-02-16 16:08

（15-3）DeepSeek混合专家模型初探：模型微调

3.4模型微调在本项目中，微调脚本文件finetune.py提供了一套全面的工具，用于对DeepSeek-MoE预训练语言模型进行微调。

码农三叔·2025-02-16 16:35

本地DeepSeek模型GGUF文件转换为PyTorch格式

，我们在本地Windows系统上，基于GGUF文件部署了DeepSeek模型（DeepSeek-R1-Distill-Qwen-1.5B.gguf版本），但是GGUF是已经量化的版本，我们除了对其进行微调之外

搏博·2025-02-16 14:48

大模型参数高效微调（PEFT）技术解析及微调加速实践

2023年，大模型如雨后春笋般爆发，58同城TEG-AILab作为AI平台部门，紧跟大语言模型技术发展步伐，打造了大语言模型平台，支持大语言模型训练和推理部署，并基于大语言模型平台构建了58同城生活服务领域（房产、招聘、汽车、黄页）垂类大模型灵犀大语言模型（ChatLing），支撑了业务方大模型应用的探索落地。灵犀大语言模型在公开评测集和实际应用场景下，效果均优于开源通用大语言模型以及商用通用大语

AI产品经理·2025-02-16 03:53

LangChain开发【NL2SQL】应用（few-shot优化）

这篇文章来讲一下优化什么是few-shot使用这些少量的、调整后的样本对预训练模型进行微调其实就是给LLM少量示例关于few-shot的研究：https://medium.com/ubiai-nlp/step

向羿燃·2025-02-15 22:48

大模型prompt实例：知识库信息质量校验模块

写代码的中青年·2025-02-15 22:45

1.5 企业级AI大模型四阶技术全景解析：从Prompt到Pre-training的进化路径

企业级AI大模型四阶技术全景解析：从Prompt到Pre-training的进化路径一、技术演进金字塔：四阶技术如何构建AI新范式▲预训练│（万亿参数基建）├─大模型微调│（领域知识注入）├─AI智能体

少林码僧·2025-02-15 21:08

DeepSeek与Python语言关系深度探索

文章目录一、技术整合逻辑二、案例分析**案例1：调用DeepSeekAPI实现智能问答系统****案例2：使用Python微调DeepSeek垂直领域模型****案例3：基于DeepSeek与Python

学堂在线·2025-02-14 18:08

LLM大模型中文开源数据集集锦（三）

文章目录1ChatGLM-Med:基于中文医学知识的ChatGLM模型微调1.1数据集1.2ChatGLM+P-tuningV2微调1.3Llama+Alpaca的Lora微调版本2LawGPT_zh：

悟乙己·2025-02-14 13:01

简介 AMD zen 系列 cpu zen zen+ zen2 zen3 zen4 特性

zen系列cpu，几代之间，指令集又什么区别？AMD的Zen系列CPU在不同代之间引入了多种指令集扩展和架构改进。

Eloudy·2025-02-14 04:16

AI Agent智能应用从0到1定制开发Langchain+LLM全流程解决方案与落地实战

大模型微调实战：精通、指令微调、开源大模型微调、对齐与垂直领域应用29套AI全栈大模型项目实战，人工智能视频课程-多模态大模型，微调技术训练营，大模型多场景实战，AI图像处理，AI量化投资，OPenCV

AI知识分享官·2025-02-14 00:41

ESP8266 使用步骤

5：串口I2C等功能都有6：型号ESP-01S7：波特率：115200bis/s7:AT指令：具体可看官网（安信可）指令集与使用实例。

官子无敌刘小路·2025-02-14 00:41

GPT 系列模型发展史：从 GPT 到 ChatGPT 的演进与技术细节

核心突破：通过海量文本预训练+任务微调，GPT展示了强大的泛化能力。GPT-

Ash Butterfield·2025-02-14 00:08

如何微调（Fine-tuning）大语言模型？看完这篇你就懂了！！

前言本文介绍了微调的基本概念，以及如何对语言模型进行微调。从GPT3到ChatGPT、从GPT4到GitHubcopilot的过程，微调在其中扮演了重要角色。什么是微调（fine-tuning）？

datian1234·2025-02-13 23:05

自学人工智能大模型，满足7B模型的训练和微调以及推理，预算3万，如何选购电脑

如果你的预算是3万元人民币，希望训练和微调7B参数规模的人工智能大模型（如LLaMA、Mistral等），你需要一台高性能的深度学习工作站。

岁月的眸·2025-02-13 23:03

【必看】凭啥？DeepSeek如何用1/179的训练成本干到GPT-4o 98%性能

其核心策略包括减少监督微调（SFT）步骤，仅依赖强化学习（RL）技术。DeepSeek-R1-Zero版本完全跳过SFT，仅通过RL进行训练。

大F的智能小课·2025-02-13 21:51

从零开始大模型开发与微调：Miniconda的下载与安装

从零开始大模型开发与微调：Miniconda的下载与安装1.背景介绍随着人工智能和机器学习技术的快速发展,大型语言模型(LargeLanguageModel,LLM)已经成为当前研究和应用的热点。

AGI大模型与大数据研究院·2025-02-13 18:30

【深度学习】常见模型-GPT（Generative Pre-trained Transformer，生成式预训练 Transformer）

它能够通过大量无监督数据预训练，然后微调（Fine-tuning）以适应特

IT古董·2025-02-13 16:15

从零开始构建一个大语言模型-第七章第一节

第七章目录7.1指令微调简介7.2为有监督的指令微调准备数据集7.3将数据整理成训练批次7.4为指令数据集创建数据加载器7.5加载预训练的大语言模型7.6在指令数据上对大语言模型进行微调7.7提取并保存回复

释迦呼呼·2025-02-13 15:07

硅基流动开放模型微调（可使用赠送金额）

就这几天硅基流动上线了模型微调目前仅开放这两个模型，价格也在上面，最重要的是可以使用赠送的额度。网站链接：https://cloud.siliconflow.cn/i/wLHLnn22

2401_82750289·2025-02-13 04:16

win10 llamafactory模型微调相关① || Ollama运行微调模型

我的巨剑能轻松搅动潮汐·2025-02-12 22:31

一文读懂RAG

架构数据准备阶段应用阶段：五、RAG分类基础RAG(NaiveRAG)缺点高级RAG(AdvancedRAG)模块化RAG(ModularRAG)六、RAG(检索增强生成)vsFine-Tuning(微调

wangziling123456·2025-02-12 22:58

用Llama Factory单机多卡微调Qwen2.5时报torch.OutOfMemoryError: CUDA out of memory的解决办法

接着上一篇博客：在Ubuntu上用LlamaFactory命令行微调Qwen2.5的简单过程_llamafactory微调qwen2.5-CSDN博客如果需要微调比较大的模型，例如Qwen2.5-32B

蛐蛐蛐·2025-02-12 22:27

目标检测:yolo格式txt转换成COCO格式json

修改对应文件路径即可,其他根据txt或者希望生成的json做轻微调整#-*-coding:utf-8-*-importosimportjsonfromPILimportImagecoco_format_save_path

詹姆斯德·2025-02-12 21:49

上位机知识篇---交叉编译（龙芯）

交叉编译的必要性目标平台的资源有限开发效率提升跨平台支持2.交叉编译的关键组件3.交叉编译的典型流程配置工具链编译依赖库编译应用程序部署与测试二、龙芯芯片（LoongArch架构）简介1.龙芯架构特点自主指令集应用领域生态支持

Ronin-Lotus·2025-02-12 06:34

手把手教学，DeepSeek-R1微调全流程拆解

手把手教学，DeepSeek-R1微调全流程拆解原创极客见识GeekSavvy2025年02月09日09:02广东DeepSeek通过发布其开源推理模型DeepSeek-R1颠覆了AI格局，该模型使用创新的强化学习技术

AI生成曾小健·2025-02-12 05:01

开源模型应用落地-qwen2-7b-instruct-LoRA微调&合并-ms-swift-单机多卡-RTX 4090双卡（十五）

一、前言本篇文章将使用ms-swift去合并微调后的模型权重，通过阅读本文，您将能够更好地掌握这些关键技术，理解其中的关键技术要点，并应用于自己的项目中。

开源技术探险家·2025-02-12 04:50

揭幕 DeepSeek-V2.5-1210：革新人工智能能力

技术背景DeepSeek-V2.5-1210在DeepSeekV2系列的基础上进行了微调，利用后训练迭代提升了其在数学、编程、写作和

吴脑的键客·2025-02-12 03:16

操作系统|ARM和X86的区别，存储，指令集

文章目录主频寄存器寄存器在硬件中的体现是什么寄存器的基本特性硬件实现寄存器类型内存和寄存器的区别内存（Memory）和磁盘（Disk）指令的执行ARMCortex-M3与Thumb-2指令集Thumb-

wowing-·2025-02-11 13:38

【NLP算法面经】NLP算法面经 -- 腾讯 VS 美团（附面题）

博客主页：[青松]目录【NLP百面百过】大模型算法高频面题（全面整理ʘ‿ʘ）一、大模型（LLMs）基础面大模型（LLMs）架构篇注意力机制（Attention）篇Transformer理论篇二、大模型微调面有监督微调

青松ᵃⁱ·2025-02-11 13:37

编译器简介

电脑，手机，嵌入式产品的处理器芯片，软件在上面运行的原理是0101二进制码组成的指令集；例如我们的应用是计算两个数的和，我们的程序如果用C++编写可能如下所示：intsum(inta,intb){returna

工程有解·2025-02-11 04:56

大模型入门（六）—— RLHF微调大模型

一、RLHF微调三阶段参考：https://huggingface.co/blog/rlhf1）使用监督数据微调语言模型，和fine-tuning一致。

LLM.·2025-02-10 23:17

【Neo4j 】学习笔记：GraphRAG 宣言：为 GenAI 添加知识

或者微调，或者GPT-5。是的。基于向量的RAG和微调等技术可以提供帮助。它们对于某些用例来说已经足够

等风来不如迎风去·2025-02-10 16:53

大模型学习笔记 - LLM 对齐优化算法 DPO

概述大模型预训练是从大量语料中进行无监督学习，语料库内容混杂，训练的目标是语言模型损失，任务是nexttokenprediction，生成的token不可控，为了让大模型能生成符合人类偏好的答案(无毒无害等）一般都会进行微调和人类对齐

JL_Jessie·2025-02-10 03:54

微调大模型【已成功】

环境%%capture#InstallsUnsloth,Xformers(FlashAttention)andallotherpackages!!pipinstall"unsloth[colab-new]@git+https://github.com/unslothai/unsloth.git"#WehavetocheckwhichTorchversionforXformers(2.3->0.0.

捏塔·2025-02-09 18:20

从零开始构建一个大语言模型-第六章第一节

第六章目录6.1不同类型的微调6.2准备数据集6.3创建数据加载器6.4用预训练权重初始化模型6.5添加分类头6.6计算分类损失和准确率6.7在有监督数据上微调模型6.8将大语言模型用作垃圾邮件分类器本章内容涵盖介绍不同的大语言模型微调方法为文本分类准备数据集修改预训练大语言模型以进行微调使用微调后的大语言模型对新数据进行分类到目前为止

释迦呼呼·2025-02-09 18:17

T5模型-基于Transformer架构的通用文本到文本转换模型

通过预训练和微调，T5模型可以用于广泛的

Jiang_Immortals·2025-02-09 16:09

接入deepseek构建RAG企业智能问答系统

让AI大模型“学习”业务知识的两种主要方法：微调（Fine-Tuning）：在预训练模型基础上根据特定任务和数据集调整参数。

da pai ge·2025-02-09 16:08

C语言实现图灵机模拟

includestructorder{ charNtype[20]; charIput; charOput; charmove; charStype[20];};intmain(){ //获得指令集

__基本操作__·2025-02-09 13:17

基于 llama-Factory 动手实践 Llama 全参数 SFT 和 LoRA SFT

一、llama-Factory：你的Llama模型SFT工厂llama-Factory是一个开源的、用户友好的工具，专门用于对Llama系列模型进行微调。

kakaZhui·2025-02-09 12:36

蒸馏：让DeepSeek用“移魂大法”增强你的小模型

在DeepSeekR1的技术报告中，使用DeepSeek-R1生成的推理数据，微调了几个广泛使用的开源模型。评估结果表明，蒸馏后的较

AI生成曾小健·2025-02-09 11:58

熬夜整理模型下载、量化、代码调用可免费使用离线部署的上千个国内外开源大模型梳理，整理开源的大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等

熬夜整理模型下载、量化、代码调用，可免费使用离线部署的上千个国内外开源大模型梳理，整理开源的大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等

代码讲故事·2025-02-08 15:32

深度学习的文本生成：从seq2seq到GPT2和GPT3

1.2Transformer模型1.2.1自注意力机制1.2.2位置编码1.2.3多头注意力1.2.4训练1.3GPT（GenerativePre-trainedTransformer）模型1.3.1预训练1.3.2微调

AI天才研究院·2025-02-08 11:33

DeepSeek模型与OpenAI模型原理和技术架构的异同分析

DeepSeek模型与OpenAI模型原理和技术架构的异同分析一、模型原理（一）DeepSeekR1DeepSeekR1的核心原理是基于强化学习（RL）的训练方式，其创新之处在于不依赖任何监督微调（SFT

程序猿000001号·2025-02-08 04:10

大模型(LLM)微调并不复杂，数据才是关键：3个实例详解数据准备

今天咱们聊聊一个听起来很高大上的词——微调（Fine-Tuning）。听说过吗？

程序员二飞·2025-02-08 01:21

【vLLM 学习】使用 CPU 安装

依赖环境操作系统：Linux编译器：gcc/g++>=12.3.0（可选，推荐）指令集架构(ISA)依赖：AVX512（可选，推荐

·2025-02-07 22:51

AI商业化：如何包装技术并找到客户需求？

一、引言在过去几年里，从GPT、Transformer到DeepSeek，以及分布式训练和微调技术的发展，为AI技术带来了质的飞跃。然而，光有先进的技术并不足以实现商业成功。如何将这些技术包装成易于

hjy1821·2025-02-07 17:34

传统AI算法工程师转型指南：如何成功切入大模型领域赛道“

在做项目的过程中，为了节省训练成本，阅读了很多peft（参数高效微调）的文献，并且实践了lor

大模型玩家·2025-02-07 17:33

推荐频道