微调GPT3.5

字节内部热捧“7种大模型微调的方法笔记”，简直太全了！！

背景随着ChatGPT的爆火，很多机构都开源了自己的大模型，比如清华的ChatGLM-6B/ChatGLM-10B/ChatGLM-130B，HuggingFace的BLOOM-176B。当然还有很多没有开源的，比如OpenAI的ChatGPT/GPT-4，百度的文心一言，谷歌的PLAM-540B，华为的盘古大模型，阿里的通义千问，等等。这些大公司或者研究机构，都是有足够资源的来开发大模型，但是对
大模型教程.·2025-06-24 11:47

Hugging Face 一键部署代码模型

这意味着，开发者现在只需在平台上进行几次点击，即可将托管在HuggingFaceHub上的任何AI编程模型（如CodeGemma,StarCoder,或自己微调的模型）快速部署为一个安全、可扩展的生产级
儿女初养·2025-06-24 07:20

基于通义大模型的智能客服系统构建实战：从模型微调到API部署

1引言本文将深入探讨基于通义大模型的智能客服系统构建全流程，从数据准备、模型微调、性能优化到API部署和系统集成。
大熊计算机·2025-06-24 04:35

教师-学生协同知识蒸馏机制在私有化系统中的融合路径：架构集成、训练范式与部署实践

教师-学生协同知识蒸馏机制在私有化系统中的融合路径：架构集成、训练范式与部署实践关键词：私有化部署、知识蒸馏、教师模型、学生模型、协同蒸馏、蒸馏训练、边缘部署、模型压缩、国产大模型、自监督微调摘要：随着国产大模型在企业私有化环境中的广泛部署
观熵·2025-06-24 03:25

15.3 LLaMA 3+LangChain实战：智能点餐Agent多轮对话设计落地，订单准确率提升90%！

关键词：多轮对话设计、场景化提示工程、LLaMA3微调、LangChainAgent、饭店点餐场景建模饭店点餐场景的Agent方案设计通过分层架构实现复杂场景对话控制，系统设计包含5个核心模块：点餐咨询订单修改支付咨询用户输入意图识别菜品推荐订单管理支付流程多轮对话管理外部系统集成响应生成
少林码僧·2025-06-23 23:05

使用 ABAP 弹出 Windows 操作系统的通知消息

我们在Windows操作系统的设置面板里，能够对系统的通知行为进行各种微调：然后使用快捷键Win+N，能查看操作系统曾经收到的通知消息的历史记录:笔者虽然不知道
汪子熙·2025-06-23 19:05

NL2SQL实践系列(1)：深入解析Prompt工程在text2sql中的应用技巧

中的应用技巧NL2SQL基础系列(1)：业界顶尖排行榜、权威测评数据集及LLM大模型（SpidervsBIRD）全面对比优劣分析[Text2SQL、Text2DSL]NL2SQL基础系列(2)：主流大模型与微调方法精选集
汀、人工智能·2025-06-23 13:20

2025-微调 Qwen3 实战教程

一、概述unsloth微调Qwen3模型提供显著优势：训练速度提高2倍，VRAM使用减少70%，支持8倍长的上下文。Qwen3–30B-A3B仅需17.5GBVRAM即可运行。
·2025-06-23 12:17

二、【LLaMA-Factory实战】数据工程全流程：从格式规范到高质量数据集构建

一、引言在大模型微调中，数据质量直接决定模型性能。LLaMA-Factory提供了完整的数据工程工具链，支持从数据格式规范到清洗增强、注册验证的全流程管理。
陈奕昆·2025-06-23 11:40

BERT模型微调全攻略：从数据准备到模型部署

BERT模型微调全攻略：从数据准备到模型部署关键词：BERT模型、模型微调、数据准备、模型训练、模型部署摘要：本文全面介绍了BERT模型微调的整个流程，从数据准备开始，逐步讲解了数据预处理、模型训练以及最终的模型部署等关键步骤
AI智能探索者·2025-06-23 09:28

利用ms-swift微调LLaVA-OneVision

利用ms-swift微调LLaVA-OneVision资料合集环境安装目录详情训练模型下载模型准备训练(train)数据和验证集(validation)数据提前改一些小bug脚本Merged-LoRA脚本
moTcream·2025-06-23 07:16

Python str.format() 函数在 LLM prompt 生成中的使用（微调、刷库等）

str.format()函数介绍：Pythonformat格式化函数，用于增强字符串格式化。在LLM中批量生成prompt的简单示例：template="我现在有一个用户问题和系统的答案,帮我把答案中和用户问题最直接的关键词提取出来。\n问题：“{query}”\n答案：“{answer}”"examples={'query':"秒换装教学",'answer':"在王者荣耀游戏中，秒换装的技巧主要
ctrl A_ctrl C_ctrl V·2025-06-23 05:29

DB-GPT-HUB Text-to-SQL微调

DB-GPT-HUBText-to-SQL微调项目介绍DB-GPT-Hub是一个利用LLMs实现Text-to-SQL解析的实验项目，主要包含数据集收集、数据预处理、模型选择与构建和微调权重等步骤，通过这一系列的处理可以在提高
__如风__·2025-06-23 04:56

大模型学习路线：这会是你见过最全最新的大模型学习路线【2025最新】

大模型学习路线建议先从主流的Llama开始，然后选用中文的Qwen/Baichuan/ChatGLM，先快速上手体验prompt工程，然后再学习其架构，跑微调脚本如果要深入学习，建议再按以下步骤，从更基础的
大模型入门学习·2025-06-23 00:56

pythonday50

作业：1.好好理解下resnet18的模型结构2.尝试对vgg16+cbam进行微调策略importtorchimporttorch.nnasnnimporttorch.optimasoptimimporttorchvisionimporttorchvision.transformsastransformsfromtorchvisionimportmodelsfromtorch.utils.dat
我爱音乐yyy·2025-06-23 00:51

ChatMusician：用大模型理解并创造音乐

ChatMusician由SkyworkAIPTE.LTD.和香港科技大学的研究团队共同开发，它基于持续预训练和微调的LLaMA2模型，并通过一种文本兼容的音乐表示法——ABC符号，将音乐作为第二语言来处理
人工智能大模型讲师培训咨询叶梓·2025-06-22 19:19

RAG 和微调如何抉择

要选择RAG(Retrieval-AugmentedGeneration)还是微调(Fine-tuning)，或者两者结合，主要取决于如下数据特性应用场景资源限制模型行为的控制需求RAGvs.微调：如何选择
成都犀牛·2025-06-22 14:20

llamafactory 微调模型出现TypeError: argument of type ‘NoneType‘ is not iterable

问题介绍本文作者碰到的问题是File“/root/miniconda3/lib/python3.12/site-packages/transformers/modeling_utils.py”,line1969,inpost_initifvnotinALL_PARALLEL_STYLES:^^^^^^^^^^^^^^^^^^^^^^^^^^^^TypeError:argumentoftype‘No
成都犀牛·2025-06-22 14:19

LinkedIn求职神器[特殊字符]AI驱动搜索让你轻松找到心仪工作！

这一功能通过利用提炼和微调的大型语言模型，在提升求职者求职体验上迈出了重要的一步。这项新功能让LinkedIn用户可以通过自然语言来进行职位搜索。例如，以往用户在输入
人工智能我来了·2025-06-22 07:36

Llama 4模型卡片及提示词模板

Llama4模型卡片及提示词模板Llama4模型卡及提示格式介绍Llama4模型概述Llama4是一系列预训练和指令微调的混合专家（Mixture-of-Experts,MoE）大语言模型，包含两种规模
大模型与Agent智能体·2025-06-21 23:44

【大模型开发】Hugging Face的Transformers库详解介绍与案例

深入解析HuggingFaceTransformers及开源大模型微调实践HuggingFaceTransformers已成为自然语言处理（NLP）乃至多模态（跨语言、图像、音频等）应用中最为流行、功能最完备的开源框架之一
云博士的AI课堂·2025-06-21 11:01

生成本地 微调 +强化学习 qwen3-4b 研究搭建流程步骤

在本地微调并应用强化学习（RL）对Qwen-3-4B模型进行研究和搭建，是一个复杂但可行的过程。以下是一个详细的流程步骤，涵盖从环境准备、数据准备、模型微调到强化学习应用的各个阶段。
行云流水AI笔记·2025-06-21 11:54

【无标题】

在本地对Qwen-3-4B模型进行微调，并结合强化学习（RL）以提高其从自然语言（TXT）到结构化查询语言（SQL）的转换能力（即TXT2SQL），是一个复杂但非常有价值的任务。
行云流水AI笔记·2025-06-21 11:54

什么是 QLoRA（Quantized Low-Rank Adaptation，量化低秩适配）

QLoRA（QuantizedLow-RankAdaptation，量化低秩适配）是LoRA（Low-RankAdaptation）的一种优化扩展，旨在进一步降低大语言模型微调的计算和内存需求。
彬彬侠·2025-06-21 06:23

三十年河东，三十年河西

你需要拼命学习你需要补不足，补短板最怕自己能力不足，还在自我安慰重新出发了，后端->大模型微调->AIGC顶峰相见了，以后没得摸了
·2025-06-20 23:44

LoRA、QLoRA是什么

一：LoRA（Low-RankAdaptation，低秩适应）是一种高效的大模型参数微调技术，由Meta在2021年提出。
爱吃土豆的马铃薯ㅤㅤㅤㅤㅤㅤㅤㅤㅤ·2025-06-20 17:58

AI模型微调完整学习方案：从入门到精通

引言随着大语言模型(LLM)技术的快速发展，微调模型以适应特定任务或领域的需求变得越来越重要。微调是一种技术，通过对预训练模型进行进一步训练，使其能够更好地解决特定问题或在特定领域表现更佳。
奔四的程序猿·2025-06-20 05:34

llama_index chromadb实现RAG的简单应用

毕竟大模型本地化有利于微调，RAG使内容更有依据。为什么要用RAG？
victorwjw·2025-06-19 21:07

Qwen2.5：模型训练和推理核心参数介绍

原因：如果不去掉，在进行微调时，模型就会将数据集原始字段和新加的字段一起输入到模型，导致格式与期望的不一致。
艾墨舟启航·2025-06-18 04:51

YOLO进化史：从v1到v12的注意力革命 —— 实时检测的“快”与“准”如何兼得？

YOLOv2（2017）：引入锚框（AnchorBoxes），通过k-means聚类确定先验框尺寸新增高分辨率微调（448×448输入）使用Darknet-19主干，速度达67FPSYOLOv
摘取一颗天上星️·2025-06-17 23:49

LLM指令微调Prompt的最佳实践（二）：Prompt迭代优化

Prompt定义3.迭代优化——以产品说明书举例3.1产品说明书3.2初始Prompt3.3优化1:添加长度限制3.4优化2:细节纠错3.5优化3:添加表格4.总结5.参考1.前言前情提要：《LLM指令微调
SmallerFL·2025-06-17 22:11

Embedding 微调就是你的救星！

在AI时代，Embedding是NLP任务的基石，直接决定了你的模型是「聪明绝顶」还是「笨拙不堪」。你是否遇到过这些让人头疼的问题：做智能问答时，模型总是答非所问，用户一脸懵圈？做推荐系统时，用户翻遍推荐内容，还是觉得「没一个对味」？做语义搜索时，搜索结果五花八门，相关性差到让人抓狂？这些问题的罪魁祸首，往往就是你的Embedding不够精准！通用Embedding在特定领域常常「水土不服」：在电
大模型玩家·2025-06-17 13:41

大模型微调(Fine-tuning)概览

大模型微调（Fine-Tuning）是将预训练大模型（如GPT、LLaMA）适配到特定任务或领域的核心技术，其效率与效果直接影响大模型的落地价值。
MzKyle·2025-06-17 08:39

【GitHub开源项目实战】DINOv2 自监督视觉模型深度解构：多任务零微调性能与多分辨率表征架构解析

DINOv2自监督视觉模型深度解构：多任务零微调性能与多分辨率表征架构解析关键词DINOv2、自监督视觉模型、ViT、多分辨率表示、语义分割、深度估计、Zero-shot、图像表示学习、OpenCLIP
观熵·2025-06-17 01:15

实现AI数据高效评估的一种方法

在线评价阶段，则通过对synset进行微调，并结合特定的模型行为评估需求，快速构建出针对不同测试样本的影
mao_feng·2025-06-17 00:08

【AI大模型】15、从GPT-1到GPT-3：大语言模型核心技术演进与能力涌现全解析

一、GPT-1：预训练微调范式的奠基者（2018）（一）架构创新：单向Transformer解码器的诞生GPT-1首次将Transformer架构应用于语言模型领域，其核心采用12层Transformer
·2025-06-16 14:04

DeepSeek 遭美国攻击宕机，手把手教你本地部署，手机也支持！

自主控制与定制化可根据业务需求灵活调整模型参数、优化算法，或集成私有数据微调模型，适配特定场景。低延迟与高性能本地部署减少网络传输延迟，结合硬件优化（如GPU加速），提升实时处理效率。
MarkGosling·2025-06-16 11:45

【项目实训】【项目博客#06】大模型微调与推理优化（4.21-5.11）

【项目实训】【项目博客#06】大模型微调与推理优化（4.21-5.11）文章目录【项目实训】【项目博客#06】大模型微调与推理优化（4.21-5.11）项目博客概述一、整体架构设计二、QLora量化微调技术
elon_z·2025-06-16 05:07

预训练、指令微调与RLHF如何塑造LLM

理解这个训练过程的核心环节——大规模无监督预训练（Pre-training）、指令微调（InstructionFine-Tuning,IFT）以及从人类反馈中强化学习（ReinforcementLearningfromHumanFeedback
由数入道·2025-06-15 16:15

2025年大模型学习路线图：史上最全、最新的大模型学习指南！非常详细收藏这一篇就够了！

大模型学习路线建议先从主流的Llama开始，然后选用中文的Qwen/Baichuan/ChatGLM，先快速上手体验prompt工程，然后再学习其架构，跑微调脚本前排提示，文末有大模型AGI-CSDN独家资料包哦
大模型教程·2025-06-15 16:42

S4-Driver: Scalable Self-Supervised Driving Multimodal Large Language Model with Spatio-Temporal

核心方法包括：稀疏体表示（SparseVolumeRepresentation）：将多视图、多帧图像的视觉信息聚合到3D空间，通过轻量级投影和门控机制动态选择关键区域，增强模型的3D时空推理能力，且无需微调预训练的视觉
UnknownBody·2025-06-15 15:37

【项目实训】【项目博客#04】ArkTS代码切分与微调数据集提示词生成（4.7-4.20）

【项目实训】【项目博客#04】ArkTS代码切分与微调数据集提示词生成（4.7-4.20）文章目录【项目实训】【项目博客#04】ArkTS代码切分与微调数据集提示词生成（4.7-4.20）项目博客概述一
elon_z·2025-06-15 06:05

用 LoRA 对 Qwen2.5-VL 模型进行SFT - qwen2_5vl_lora_sft.yaml

1llamafactory-clitrainexamples/train_lora/qwen2_5vl_lora_sft.yamlqwen2_5vl_lora_sft.yaml││││└──SFT:有监督微调
二分掌柜的·2025-06-15 02:37

记录一个大模型逐层微调计算损失输出少了一个维度的小bug

1.假如针对的对象是lineardef_compute_mse_on_batch(layer:nn.Module,batch_iter:Iterator[Tuple[torch.Tensor,torch.Tensor]],**kwargs)->torch.Tensor:inps_batch,outs_batch=next(batch_iter)print("Initialinps_batch:",
绒绒毛毛雨·2025-06-14 21:31

Python打卡第50天

@浙大疏锦行知识点回顾：resnet结构解析CBAM放置位置的思考针对预训练模型的训练策略差异化学习率三阶段微调数据预处理+定义cbamimporttorchimporttorch.nnasnnimporttorch.optimasoptimfromtorchvisionimportdatasets
猛犸MAMMOTH·2025-06-14 16:25

python打卡第50天

知识点回顾：resnet结构解析CBAM放置位置的思考针对预训练模型的训练策略差异化学习率三阶段微调现在我们思考下，是否可以对于预训练模型增加模块来优化其效果，这里我们会遇到一个问题预训练模型的结构和权重是固定的
whyeekkk·2025-06-14 07:59

2025年4月大模型预训练、微调服务器推荐

大模型预训练与微调，对显卡的显存要求高，显存是决定模型能不能跑的关键因素，因此，挑选显卡时优先考虑显存问题；其次再考虑单精度等性能问题目前常用的显卡包括A600048G、L2048G、L4048G、6000Ada48G
HPC_fac13052067816·2025-06-14 04:40

大模型现在用的最多 其次是预训练模型,大模型用于rag agent 预训练模型用于微调任务

当前的人工智能领域，大模型与预训练模型的应用场景呈现出显著的差异化特征，以下从技术逻辑、应用场景及典型案例三个维度展开分析：一、大模型（LLM）的核心应用：RAGAgent架构1.技术逻辑：动态知识检索与推理融合大模型（如GPT-4、Claude3.5）具备强大的语言理解与生成能力，但受限于参数规模（通常千亿级以上），难以存储实时或专业领域的海量知识。RAG（Retrieval-Augmented
MYH516·2025-06-13 21:52

04 XTuner 大模型单卡低成本微调实战

目录1Finetune简介1.1监督微调1.2增量预训练1.3LoRA&QLoRA2XTuner微调框架3微调实战3.1公开数据集demo3.2自定义微调1Finetune简介LLM的下游应用中，增量预训练和指令跟随是经常会用到的两种微调模式
wangzixinxinxin·2025-06-13 20:22

大语言模型实战：从零构建AI原生应用的完整指南

大语言模型实战：从零构建AI原生应用的完整指南关键词：大语言模型、AI原生应用、Prompt工程、微调、RAG、LangChain、LLMOps摘要：本文将带领读者从零开始构建一个完整的AI原生应用。
AI原生应用开发·2025-06-13 11:15
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他