前缀微调第5页

【大模型基础_毛玉仁】0.系列文章

原书涵盖传统语言模型、大语言模型架构、提示工程、参数高效微调、模型编辑和检索增强生成等几大模块。

XiaoJ1234567·2025-03-07 00:02

开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory-单机多卡-RTX 4090双卡（五）

一、前言本篇文章将使用LLaMA-Factory去高效微调QWen2系列模型，通过阅读本文，您将能够更好地掌握这些关键技术，理解其中的关键技术要点，并应用于自己的项目中。

开源技术探险家·2025-03-06 23:26

大模型实战—Llama3-8B 中文微调

Llama3-8B+LLaMA-Factory中文微调Llama3是目前开源大模型中最优秀的模型之一，但是原生的Llama3模型训练的中文语料占比非常低，因此在中文的表现方便略微欠佳！

不二人生·2025-03-06 23:25

chatglm3如何进行微调

一、需要的环境内存：因为在loadmodel时，是先放在内存里面，所以内存不能小，最好在30GB左右显存：如果用half()精度来loadmodel的话(int4是不支持微调的)，显存在16GB就可以，

learner_ctr·2025-03-06 23:24

【大模型系列篇】Vanna-ai基于检索增强(RAG)的sql生成框架

Vanna优化了提示（通过向量数据库使用嵌入搜索）并微调LLM模型以生成更好的SQL。Vanna可以使用和试验许多不同的LLM，以获得最准确的结果。V

木亦汐丫·2025-03-06 23:54

Leetcode2588：统计美丽子数组数目

每次操作中，你可以：选择两个满足0int:xor_map=defaultdict(int)xor_map[0]=1#初始前缀异或和为0，表示从起点开始的子数组xor_sum=0#当前前缀异或和count

ʚ发什么呆^ɞ·2025-03-06 19:49

Stable Diffusion模型Pony系列模型深度解析

StableDiffusion模型Pony系列模型深度解析一、技术架构与核心特性基于SDXL的深度优化Pony系列模型以SDXL为基础框架，通过针对二次元/动漫风格的微调，强化了在该领域的生成能力，同时保留了对写实场景的兼容性‌

Liudef06·2025-03-06 15:44

RAG组件：向量数据库（Milvus）

在当前大模型盛行的时代，大模型的垂类微调、优化成为产业落地、行业应用的关键；RAG技术应运而生，主要解决大模型对专业知识、实效性知识欠缺的问题；RAG的核心工作逻辑是将专业知识、实效知识等大模型欠缺的知识进行收集

CITY_OF_MO_GY·2025-03-06 13:59

AI语言模型的技术之争：DeepSeek与ChatGPT的架构与训练揭秘

DeepSeek与ChatGPT的基础概述1.1DeepSeek简介1.2ChatGPT简介第二章：模型架构对比2.1Transformer架构：核心相似性2.2模型规模与参数第三章：训练方法与技术3.1预训练与微调

m0_74825466·2025-03-06 06:29

大模型（LLM）的若干科普之问（七）：如何隔离LLM微调结果？

一、微调大模型LLM的微调是指在预训练好的大型语言模型基础上，通过特定任务的数据进行进一步训练，以提升模型在该任务上的性能。

人工干智能·2025-03-06 04:12

X-LoRA：高效微调 LoRA 系列，实现不同领域知识专家混合模型

文献卡X-LoRA:MixtureofLow-RankAdapterExperts,aFlexibleFrameworkforLargeLanguageModelswithApplicationsinProteinMechanicsandMolecularDesign作者:EricL.Buehler;MarkusJ.BuehlerDOI:10.48550/arXiv.2402.07148摘要:We

yumuing blog·2025-03-05 22:22

Qt常用控件之日期微调框QDateTimeEdit

日期微调框QDateTimeEditQDateTimeEdit是一个日期微调框控件，它可以选择年月日和时分。Qt中还有QDateEdit只能微调年月日的控件和QTimeEdit只能微调时分的控件。

laimaxgg·2025-03-05 19:06

【蓝桥杯】前缀和与数学(持续更新~~~)

PREFACE欢迎各位→点赞+收藏⭐+评论系列专栏：蓝桥杯本专栏涉及到的知识点或者题目是算法专栏的补充与应用种一棵树最好是十年前其次是现在前缀和一维前缀和k倍区间给定一个长度为N的数列，A1,A2,…AN

「已注销」·2025-03-05 14:19

好数——前缀和思想（题目分享）

今天我的舍友去参加“传智杯”广东省的省赛，跟我说了这样一道题，他说他想不出来怎么去优化代码，怎么做都是套用两层for循环超时，下面我就根据题意，使用前缀和的算法去优化一下思路，题目本身是不难的，请看思路

Exhausted、·2025-03-05 13:08

【大模型开源实战】10 分钟,教你如何用 LLama-Factory 训练和微调大模型

在这个AI快速发展的时代，我们很高兴为大家带来LlamaFactory-一个为AI开发者和爱好者量身打造的实用工具平台。作为非计算机专业出身的开发者，我们深深受益于计算机世界的开放共享精神。今天，我们希望通过LlamaFactory为这个社区贡献我们的一份力量。LlamaFactory能为您提供什么？英文文档的AI翻译：利用大语言模型将英文文档翻译成中文，助您更便捷地获取最新技术信息。快速获取主流

Langchain·2025-03-05 06:40

预训练模型微调与下游任务迁移学习技术

而对预训练模型进行有效的微调,可以充分利用预训练知识,在有限数据上快速达到出色的性能。此外,迁移学习技术也为模型在不同任务间的知识复用提供了有效途径。本文将详细介绍预训练模型微调与下游任务迁移学习

AGI大模型与大数据研究院·2025-03-04 22:37

微调（Fine-tuning）

微调（Fine-tuning）是自然语言处理（NLP）和深度学习中的一种常见技术，用于将预训练模型（Pre-trainedModel）适配到特定任务上。

路野yue·2025-03-04 20:49

大模型应用开发简易指南：Git教程助力亲自动手微调大型模型

LLM正逐步成为信息世界的新革命力量，其通过强大的自然语言理解、自然语言生成能力，为开发者提供了新的、更强大的应用开发选择。随着国内外井喷式的LLMAPI服务开放，如何基于LLMAPI快速、便捷地开发具备更强能力、集成LLM的应用，开始成为开发者的一项重要技能。前排提示，文末有大模型AGI-CSDN独家资料包哦！目前，关于LLM的介绍以及零散的LLM开发技能课程已有不少，但质量参差不齐，且没有很好

大模型官方资料·2025-03-04 19:11

Helix 是开源的私有 GenAI 堆栈，用于构建具有声明性管道、知识（RAG）、API 绑定和一流测试的 AI 应用程序。

包括对RAG、API调用和微调模型的支持，就像拖放一样简单。通过编写helix.yaml来构建和部署LLM应用程序。正在寻找私人GenAI平台？

2301_78755287·2025-03-04 13:50

SFT与RLHF的关系

在大模型训练中，SFT（监督微调）和RLHF（基于人类反馈的强化学习）是相互关联但目标不同的两个阶段，通常需要结合使用以优化模型性能，而非互相替代。

一只积极向上的小咸鱼·2025-03-04 11:12

微调DeepSeek-R1打造SQL语言转自然语言大模型！小白也能十分钟打造自己的推理大模型！unsloth+Colab+DeepSeek-R1-Distill-Llama-8B轻松上手

本篇笔记所对应的视频：微调DeepSeek-R1打造SQL语言转自然语言大模型！小白也能十分钟打造自己的推理大模型！

AI超元域·2025-03-04 07:08

大模型开发和微调工具Llama-Factory--＞WebUI

WebUILLaMA-Factory支持通过WebUI零代码微调大模型。

m0_74823705·2025-03-04 05:56

DeepSeek-R1：通过强化学习激励大型语言模型的推理能力

DeepSeek-R1-Zero是一个通过大规模强化学习（RL）训练而成的模型，无需监督微调（SFT）作为初步步骤，展示了卓越的推理能力。

AI专题精讲·2025-03-03 22:05

前端开发全攻略：从兼容性到安全性，全方位解决常见问题！

使用前缀自动补全（如PostCSS的autoprefixer）。✅JavaScri

奶凶的小熊崽·2025-03-03 19:34

Llama 3.2入门基础教程（非常详细），Llama 3.2微调、部署以及多模态训练入门到精通，收藏这一篇就够了！

9月25日Meta发布了Llama3.2，包括11B和90B的视觉语言模型。前排提示，文末有大模型AGI-CSDN独家资料包哦！Llama3技术剖析与部署相较于Llama2，Llama3的改变其实并不是太大。Tokenizer变成了128K的词表，使用了GQA，不在是原来的只在Llama2-70B里使用了。所以说，最大的改变就是词表与GQA。然后在训练上变化比较大，参数变大了，400B的还没放出来

中年猿人·2025-03-03 17:49

C语言：51单片机结构体系（带最小系统设计图）

注：本案例采用AT89C51系列单片机单片机的内核89系列单片机型号由3个部分组成，分别是前缀、型号、后缀，格式为AT89C(LV\、S)XXXX。前缀由字母组成，表示某某公司的产品。

练习&两年半·2025-03-03 13:50

【硬核教程】DeepSeek 70B模型微调实战：打造工业级AI开发专家（附完整代码+案例）

直击工业软件开发6大痛点：代码规范、性能优化、多约束条件处理等难题一次性解决显存消耗降低90%：4×A100全参数微调显存需求从320GB→32GB，中小企业也能玩转大模型实战案例全覆盖：包含PLC代码生成

爱吃青菜的大力水手·2025-03-03 11:06

llama_factory微调QWen1.5

GitHub-hiyouga/LLaMA-Factory:UnifyEfficientFine-Tuningof100+LLMsUnifyEfficientFine-Tuningof100+LLMs.Contributetohiyouga/LLaMA-FactorydevelopmentbycreatinganaccountonGitHub.https://github.com/hiyouga/L

Kun Li·2025-03-03 02:50

【AI大模型】Transformers大模型库（九）：大模型微调之计算微调参数占比

目录一、引言二、计算微调参数占比2.1概述2.2模型参数结构一览2.3微调参数占比计算三、总结一、引言这里的Transformers指的是huggingface开发的大模型库，为huggingface上数以万计的预训练大模型提供预测

LDG_AGI·2025-03-03 01:45

大模型微调入门（Transformers + Pytorch）

目标输入：你是谁？输出：我们预训练的名字。训练为了性能好下载小参数模型，普通机器都能运行。下载模型#方式1：使用魔搭社区SDK下载#down_deepseek.pyfrommodelscopeimportsnapshot_downloadmodel_dir=snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B')#方式2：gitl

昵称不能为null·2025-03-03 00:06

微调DeepSeek-R1-Distill-Llama-8B打造sql2text大模型！小白也能十分钟打造自己的推理大模型！unsloth+Colab轻松上手

简介：DeepSeek-R1-Distill-Llama-8B是一个基于Llama架构的8B参数语言模型，经过深度蒸馏（distillation）处理，旨在提高推理效率和精度。通过蒸馏技术，模型在保持较高性能的同时，减少了计算资源的消耗，特别适合在资源受限的环境中应用。该模型经过优化，可用于多种自然语言处理任务，如文本生成、情感分析、问答系统等。DeepSeek-R1-Distill-Llama-

X.Cristiano·2025-03-02 23:28

LeetCode热题100——图论

题目链接1.2题目描述1.3解题代码1.4解题思路2、腐烂的橘子2.1题目链接2.2题目描述2.3解题代码2.4解题思路3.课程表3.1题目链接3.2题目描述3.3解题代码3.4解题思路4.实现Trie(前缀树

Ghost_firejef·2025-03-02 12:24

【AI带来的机遇】

类比房地产黄金期中介赚取信息差、移动互联网初期应用商店分发红利，当前AI领域存在三大核心机遇：基础设施重构机遇（类比域名投资）AI大模型开源浪潮下，高质量训练数据资产、特定领域微调模型、模型中间件将成为新时代

调皮的芋头·2025-03-02 11:18

模型优化之强化学习（RL）与监督微调（SFT）的区别和联系

强化学习（RL）与监督微调（SFT）是机器学习中两种重要的模型优化方法，它们在目标、数据依赖、应用场景及实现方式上既有联系又有区别。

搏博·2025-03-02 10:08

二维前缀和（C++))

题目描述：给定一个n×m的矩阵，其中每个元素为整数。你需要回答q个查询，每个查询给出一个矩形区域的左上角(x1,y1)和右下角(x2,y2)，你需要计算这个矩形区域内的元素之和。输入格式：第一行包含三个整数n,m,q，分别表示矩阵的行数、列数和查询次数。接下来n行，每行包含m个整数，表示矩阵的元素。接下来q行，每行包含四个整数x1,y1,x2,y2，表示一个查询。输出格式：对于每个查询，输出一个整

落溪于梦·2025-03-02 05:55

python蓝桥杯备赛（day8）[KMP算法]

part02[KMP算法]今日任务28.实现strStr()题目链接：28.找出字符串中第一个匹配项的下标-力扣（LeetCode）文章链接：代码随想录这题要用kmp算法，一下是我认为搞清楚kmp需要知道的前缀表是什么

kiki坤哥·2025-03-01 22:09

mysql的算法

索引选择算法：MySQL会根据查询条件和表结构来选择合适的索引进行查询，常见的索引选择算法包括最左前缀匹配、覆盖索

再见，再也不见(๑>؂<๑）·2025-03-01 22:09

2.4K star的GOT-OCR2.0：端到端OCR 模型

产品功能及特点多语言支持：GOT-OCR2.0主要支持中文和英文字符识别，并能够通过进一步的微调扩展到更多语言。这种灵活性使其适用于国际化应用，满足不同

AI 研习所·2025-03-01 17:34

大模型训练与微调（4）——Top-k 和 Top-p 采样策略介绍

大模型训练与微调（4）——Top-k和Top-p采样策略介绍**一、Top-k采样****1.核心思想****2.数学实现****3.示例****4.特点****二、Top-p（Nucleus）采样**

John_今天务必休息一天·2025-03-01 12:33

Java SQL查询，数据批量新增更新优化

但是索引需要遵循最左前缀原则，所以显然不能将所有的索引设置为一个联合索引，这样在查询的时候往往会导致索引失效，最终走的全表检索。例：如下为一个关联查询多，且动态查询条件多的SQL。

振宇i·2025-03-01 07:57

全网国内外总结Prompt&LLM论文，开源数据&模型，AIGC应用（持续更新，收藏查看）

全网国内外总结Prompt&LLM论文，开源数据&模型，AIGC应用（持续更新，收藏查看）目录顺序如下国内外，垂直领域大模型Agent和指令微调等训练框架开源指令，预训练，rlhf，对话，agent训练数据梳理

代码讲故事·2025-03-01 07:54

BERT模型深入理解——自然语言处理的里程碑

BERT创新性地使用预训练+微调模式，先用预训练在大量无标注的语料中进行自监督学习，学习到语言的通用规律，然后在少量有标注的数据中进行有监督学习，适配更精细化的任务。这种模式一直影响到最新的大模型结

cufewxy2018·2025-03-01 06:47

如何使用Anyscale平台运行、微调和扩展大语言模型(LLMs)

Anyscale是一个功能强大的平台，主要用于运行、微调和扩展大语言模型(LLMs)，并且通过生产就绪的API提供成本效益的调用服务。

eahba·2025-03-01 03:49

MySQL索引全面解析：从原理到实战，一文掌握高效查询的终极秘籍

联合索引的最左前缀原则怎么用？索引失效的坑如何避免？本文将从底层原理出发，结合实战案例，深入剖析MySQL各类索引的设计与优化策略，助你彻底掌握索引的正确打开方式！引言MySQL索引是数据

小诸葛IT课堂·2025-03-01 00:03

谁说消费级硬件不能玩 DeepSeek - R1 微调？手把手教你进阶AI玩家

微调像DeepSeek-R1这样的大规模人工智能模型可能需要大量资源，但借助正确的工具，在消费级硬件上进行高效训练是可行的。

硅基创想家·2025-02-28 22:51

2.8 通过微调提升模型的准确度与效率-大模型ACP模拟题-真题

A.通过低秩矩阵间接影响模型行为B.会直接修改原始模型权重✅C.支持参数回退操作D.训练效率高于全参微调解析：LoRA通过添加额外参数而非修改原权重实现微调当训练过程中出现

admin皮卡·2025-02-28 17:12

低代码革命：基于DeepSeek微调模型实现前端代码自动生成与私有JS API调用的实战指南

摘要本文探讨如何微调DeepSeek平台的大语言模型，以实现前端代码的智能生成与自建JavaScriptAPI库的无缝调用。

Light60·2025-02-28 15:58

微软发布 Phi-4 迷你模型,适合本地部署ChatBot

该模型经历了一个增强过程，包含了监督微调和直接偏好优化，以支持精确的指令遵循和稳健的安全措施。

吴脑的键客·2025-02-28 13:43

大模型调优方法：提示工程、RAGs 与微调对比

前言每一个搭建大语言模型应用的AI工程师都会面临一个难题，如何选择一个合适调优方法。就算是强大的预训练LLM也可能无法直接满足项目中的特定需求。如项目需要一个特定结构的应用程序，如预训练缺失上下文的重要文件，再比如有特定术语和结构的高专业性的行业领域，面对这些问题，需要有特定的方法来调整LLM。要决定用哪种调优方法，首先得明白这些方法的含义。提示工程（PromptEngineering）提示工程相

AI大模型探索者·2025-02-28 11:03

redisCluster集群相关查询结果详解

ghostp·2025-02-28 11:28

推荐频道

前缀微调