LoRa

20_大模型微调和训练之-基于LLamaFactory+LoRA微调LLama3后格式合并

1.什么是GGUFGGUF格式的全名为(GPT-GeneratedUnifiedFormat)，提到GGUF就不得不提到它的前身GGML(GPT-GeneratedModelLanguage)。GGML是专门为了机器学习设计的张量库，最早可以追溯到2022/10。其目的是为了有一个单文件共享的格式，并且易于在不同架构的GPU和CPU上进行推理。但在后续的开发中，遇到了灵活性不足、相容性及难以维护的
吴法刚·2025-04-30 21:56

开启图像生成之旅：ComfyUI在Ubuntu上的安装全攻略

ComfyUI使用扩散模型作为基础模型，并结合ControlNet、Lora和LCM低阶自适应
北上ing·2025-04-30 09:38

基于LoRa技术的智慧农业系统研究与设计

我国正处在传统农业向现在农业的转变时期。为了实现新技术体现的转变，网络信息技术将会发挥巨大的作用。在传统农业中，农户或管理者主要通过人工测量这种单通道方式获得田间数据，在获取数据的过程中需要耗费大量人力。应用物联网技术不但可以实时收集大气环境信息，而且可以采集土壤环境信息，还可获得环境信息等。智慧农业可以帮助相关专业机构对数据进行分析、整理、融合，并对灾害进行预测，可以帮助农户或专业管理科学种植，
柠檬树技术宅·2025-04-28 18:55

基于物联网的智慧农业大棚控制系统【附设计】

该系统的设计包括信息采集节点、数据传输节点、执行设备控制节点以及远程监控节点，利用LoRa无线通信技术实现节点间的数据传输，确保信息的高效、稳定传递。2.系统架构设计2.1信息
坷拉博士·2025-04-28 18:25

基于Lora的冷链物流环境信息感知系统开发

本项目是基于LoRa无线传感器组网技术WSN和无线射频识别技术RFID，对车载冷链物流环境信息进行实时监测、显示、无线传输给中央处理器和通过无线射频识别技术标识物品的信息感知系统。
记忆中的小脚丫·2025-04-28 18:24

学习STM32的无线通信

常用的无线通信协议包括蓝牙、WiFi和LoRa等。蓝牙（Bluetooth）是一种短距离无线通信技术，用于在电子设备之间传输数据。它具有低功耗、低成本和短距离
MyM满满·2025-04-28 10:33

【大模型微调与应用开发实战指南】从理论到工业级部署

目录前言技术背景与价值当前技术痛点解决方案概述目标读者说明一、技术原理剖析核心概念图解核心作用讲解关键技术模块说明技术选型对比二、实战演示环境配置要求核心代码实现（LoRA微调）运行结果验证三、性能对比测试方法论量化数据对比结果分析四
满怀1015·2025-04-28 07:15

关于开源大模型（如 LLaMA、InternLM、Baichuan、DeepSeek、Qwen 等）二次开发或训练经验的关键点和概述

工具如Transformers、LMDeploy和LoRA常用于优化性能和效率。不同模型有各自特点，经验
weixin_40941102·2025-04-27 21:11

STM32 高级 物联网通讯之LoRa通讯

目录LoRa通讯基础知识常见的3种通讯协议远距离高速率的传输协议近距离高速率传输技术近距离低功耗传输技术低功耗广域网采用授权频段技术非授权频段LoRa简介LoRa的特点远距离低功耗安全标准化地理定位移动性高性能低成本
雁过留声花欲落·2025-04-27 11:40

基于STM32的智慧农业监测系统：LoRa通讯、Flutte集成设计流程

一、项目概述项目目标在现代农业生产中，智慧农业的理念逐渐兴起，关注如何利用先进的技术提高农业生产效率、保证食品安全和优化资源配置。基于STM32的智慧农业监测系统旨在通过传感器实时监测环境参数（如温湿度、土壤湿度、光照强度等），并将这些数据传输至云端，以支持远程监控和智能决策。这一系统将为农户提供便捷的管理工具，帮助其优化农作物的生长环境，提高农业产量和质量。技术栈关键词主控模块：STM32F40
极客小张·2025-04-27 02:43

Stable Diffusion: Lora篇

前面提到，在提示词中可以使用LoRA并设置权重。
duhaining1976·2025-04-26 20:34

基于Vulkan Specialization Constants的材质变体系统

比如下面shader代码：float4color;float3normal;voidsetColorAndNormal(){#ifCOLOR_RE
肖远行·2025-04-26 15:59

开源模型应用落地-qwen2-7b-instruct-LoRA微调-Axolotl-单机单卡-V100（九）

二、术语介绍2.1.LoRA微调LoRA(Low-RankAdaptation)用于微调大型语言模型(LLM)。
开源技术探险家·2025-04-26 00:48

CAMEL 学习笔记一

课程讲义https://github.com/camel-ai/owlCAMEL(CommunicativeAgentsfor“Mind”ExplorationofLargeLanguageModels
RessCris·2025-04-25 16:51

Q-Learning算法：从原理到路径搜索代码实现

3.3Q-Learning算法步骤3.4Q-Learning的收敛（Bellman期望方程）四、参数的影响和选取建议4.1折扣率（DiscountFactor）4.2学习率（LearningRate）4.3探索率（ExplorationRate
艰默·2025-04-25 10:07

大模型面经 | 春招、秋招算法面试常考八股文附答案（二）

目录1.大模型幻觉问题2.介绍一下常见的位置编码3.介绍一下LoRA4.AdaLoRA和QLoRA5.RLHF中，PPO需要哪几个模型，分别是什么作用?
皮先生!·2025-04-25 03:51

大型语言模型中微调和提炼的详细技术比较

目录概要介绍技术背景微调和参数高效策略模型提炼理念的冲突QLoRA：将量化与低秩自适应相结合高级量化：不破坏的缩小艺术4位量化为何有效低阶适配器集成：效率的艺术低秩适应为何有效QLoRA为何如此重要：宏观视角提炼
前网易架构师-高司机·2025-04-25 01:36

智慧园区解决方案

智慧园区解决方案聚焦产业园区智能化升级，基于云管边一体化架构，整合LoRa、5G、物联网平台等技术，构建覆盖园区管理、仓储物流、安防监控、公共服务的全场景智能化体系。
数智资源·2025-04-24 22:49

oracle 停止运行的job

linux下切换到oracle用户su-loracle登录sysdba用户sqlplus/assysdba找到运行的任务，看sql_textselecta.program,b.spid,c.sql_text
小鱼学习记·2025-04-23 01:22

Llama模型家族之使用 Supervised Fine-Tuning（SFT）微调预训练Llama 3 语言模型（六）Llama 3 已训练的大模型合并LoRA权重参数

LlaMA3系列博客基于LlaMA3+LangGraph在windows本地部署大模型（一）基于LlaMA3+LangGraph在windows本地部署大模型（二）基于LlaMA3+LangGraph在windows本地部署大模型（三）基于LlaMA3+LangGraph在windows本地部署大模型（四）
段智华·2025-04-22 13:06

大模型微调综述

InstructionFine-Tuning，IFT)全参数微调(FullFineTuning，FFT)参数高效微调（Parameter-EfficientFine-Tuning，PEFT）常见的微调技术LoRA
kuokay·2025-04-21 07:45

Qwen2.5-Omni 部署框架选择指南：PyTorch vs. TensorFlow 深度对比

CUDA可用性2.TensorFlow替代方案（不推荐）系统限制安装命令四、典型场景实现对比1.多模态推理（图文问答）PyTorch实现（推荐）TensorFlow实现（复杂）2.模型微调PyTorch(QLoRA
张3蜂·2025-04-21 04:23

72B模型DPO微调 | DPO的大模型的技术点、DPO的核心思想

借助LoRA和QLoRA等参数高效微调技术，我们可以在单GPU卡上对拥有80亿参数的模型（如Llama3.18B和Qwen2.57B）进行DPO训练，当然训练序列可能较短。
大模型本地部署_·2025-04-21 03:21

LeetCode -- Flora -- edit 2025-04-16

1.两数之和1.两数之和给定一个整数数组nums和一个整数目标值target，请你在该数组中找出和为目标值target的那两个整数，并返回它们的数组下标。你可以假设每种输入只会对应一个答案，并且你不能使用两次相同的元素。你可以按任意顺序返回答案。示例1：输入：nums=[2,7,11,15],target=9输出：[0,1]解释：因为nums[0]+nums[1]==9，返回[0,1]。示例2：输
椰羊～王小美·2025-04-20 15:39

jQuery UI API 类别 - 特效核心（Effects Core）

特效（Effects）|方法重载（MethodOverrides）颜色动画（ColorAnimation）使用.animate()实现颜色动画效果。.ef
宇哥资料·2025-04-17 21:48

大模型微调1——使用LoRA微调qwen模型优化推理效果

目录任务LoRA微调步骤1、数据集准备2、下载大模型3、加载tokenizer和model4、训练数据格式化5、配置LoRA的参数6、开启训练7、训练结束后，合并LoRA和原模型参数参考文献：任务使用LoRA
IT修炼家·2025-04-17 18:02

【大模型开发】开源大模型微调：LoRA（Low-Rank Adaptation）技术

LoRA（Low-RankAdaptation）微调技术详解与实战LoRA是一种高效的参数微调技术，旨在解决大规模预训练模型全参数微调时计算和存储开销过大的问题。
云博士的AI课堂·2025-04-17 18:01

[特殊字符] LoRA微调大模型实践：从MAC到Web的全流程指南

实践步骤概览今天我们要在MAC上完成一个完整的AI项目闭环：微调一个大模型→2.导出模型并部署→3.暴露API给web后端→4.前端展示️微调模型准备核心配置框架：LLama-Factory算法：LoRA
AI大模型顾潇·2025-04-17 18:00

多模态大语言模型arxiv论文略读（十六）

TowardsImprovingDocumentUnderstanding:AnExplorationonText-GroundingviaMLLMs➡️论文标题：TowardsImprovingDocumentUnderstanding
Jamence·2025-04-16 11:41

nlp培训重点-5

1.LoRA微调loader：#-*-coding:utf-8-*-importjsonimportreimportosimporttorchimportnumpyasnpfromtorch.utils.dataimportDataset
heine162·2025-04-14 23:44

深度探索 DeepSeek 微调：LoRA 与全参数微调实战指南

本篇文章将介绍LoRA（Low-RankAdaptation）、全参数微调等微调策略，并提供详细的代码示例，帮助开发者高效定制DeepSeek以适应特定任务。为什么要微调DeepSeek？
·2025-04-14 15:36

单卡4090微调大模型 DeepSeek-R1-32B

之前文章同样的方法，也可以在24G显存的单卡4090上微调训练deepseek-ai/DeepSeek-R1-Distill-Qwen-32B；即使该模型的权重文件大小已经达到62G，这是因为unsloth和lora
大模型与自然语言处理·2025-04-14 04:35

[OpenVLA] All attempts to get a Google ... token failed

如果你已经把数据集和模型下载到本地了，但是还是跑不通lora代码，报错AllattemptstogetaGoogleauthenticationbearertokenfailed...那么本教程适合你改一行代码解决在你的
·2025-04-13 02:02

Stable Diffusion：使用ControlNet为黑白照片上色

https://www.dong-blog.fun/post/2019使用ControlNet的Recolor模型为黑白图片上色1.RecolorControl-LoRA简介用途：专为黑白照片上色设计的轻量化模型核心特点
XD742971636·2025-04-13 00:08

【AI】LoRA技术深度解析：大模型高效微调的革命性突破

LoRA技术深度解析：大模型高效微调的革命性突破一、技术原理与核心突破LoRA（Low-RankAdaptation）是一种通过低秩矩阵分解实现大模型参数高效优化的技术。
酱学编程·2025-04-12 22:26

微调和蒸馏：详细技术全解_蒸馏 微调

虽然完整的微调会更新所有权重，但近年来如LoRA（Low-RankAdaptation，低秩适
慕烟疏雨·2025-04-12 22:56

领域专用对话大模型深度适配方案

领域专用对话大模型深度适配方案基于LLaMA-2-13B的LoRA+PTuning联合优化一、LLaMA-2-13B核心特性解析1.1架构创新点特性LLaMA-1LLaMA-2-13B上下文窗口2048tokens4096tokens
Sirius Wu·2025-04-12 18:28

第31篇：FedSA-LoRA（联邦学习+lora+个性化升级版）

第一部分：要解决的问题第二部分：解决问题所提出的idea研究发现，A矩阵负责学习通用知识，而B矩阵则专注于捕捉客户端特定知识。这一发现基于对不同数据异质性水平下，客户端间A和B矩阵的相似性分析。第三部分：新方法效果任务：在自然语言理解（GLUE基准）和生成任务（GSM8K、CodeSearchNet）中测试。性能
还不秃顶的计科生·2025-04-11 19:28

ComfyUI 完全入门：使用LoRA模型

本文继续给大家分享ComfyUI的入门必备技能：使用LoRA模型。
AI劳模·2025-04-11 03:09

金融大模型

https://github.com/AI4Finance-Foundation/FinGPT/tree/master/fingpt/FinGPT-v3FinGPTv3系列是在新闻和微博情绪分析数据集上使用LoRA
兔兔爱学习兔兔爱学习·2025-04-10 11:28

DeepSeek底层揭秘——《推理时Scaling方法》技术对比浅析

笔者尝试对比了“关于推理时Scaling”与现有技术，粗浅分析如下：与LoRA的对比区别：应用场景：LoRA是一种参数高效微调方法，主要用于在训练阶段对模型进行微调，以适应特定的任务或数据集。
9命怪猫·2025-04-09 08:58

贪吃蛇游戏项目完整版

*;importjava.util.Random;/***小蛇吃的苹果*/publicclassApple{privatestaticColorAPPLE_COLOR=Color.RED;//苹果的颜色
KJ.JK·2025-04-08 19:11

以微调deepseek为例，基于transformers改写实现lora+

LoRA+:EfficientLowRankAdaptationofLargeModels24年2月12的论文，主要思想就是对LoRA进行了一些改进，提升了模型效果。
淡水，·2025-04-08 11:41

下一代AI App架构：前端生成，后端消失

但随着AI原生应用的兴起，特别是大模型本地化、小模型部署、WebAssembly、LoRA微调等技术的成熟，一个全新的架构范式正在悄然出现：AIApp的下一代形态：前端生成，后端消失。
萧鼎·2025-04-07 12:48

QLoRA 精调模型如何部署上线？FastAPI 封装 × Docker 打包 × 多模型热切换实战指南

QLoRA精调模型如何部署上线？FastAPI封装×Docker打包×多模型热切换实战指南✅一、QLoRA精调模型怎么“上线”？
AI筑梦师·2025-04-07 03:53

ST 芯片产品线全景图

ST芯片分为四大类：通用MCU（STM32）无线MCU（带BLE/LoRa）专用BLE芯片（BlueNRG）MPU（运行Linux的）STM32WB和STM32WLE虽然属于无线MCU，但本质上仍然是STM32
damo王·2025-04-06 19:58

【大模型】微调一个大模型需要多少 GPU 显存？

up主页：AI老兵tags：#GPU显存#模型微调#LoRA#QLoRA#参数计算本集视频详细介绍了在模型微调过程中GPU显存需求的计算方法，包括全量微调和高效微调（如LoRA）的情况。
酒酿小圆子～·2025-04-06 13:50

AI安全算法工程师的算法笔记

或者想深入了解AI安全研究与工程实践，强烈推荐你关注这个微信公众号AI安全这点事由AI安全方向的一线技术从业者主理，长期聚焦在两个关键方向：大模型前沿技术最新开源大模型拆解与能力分析SFT/RLHF/LoRA
AI安全这点事·2025-04-06 09:25

谱聚类算法 matlab,SpectralClustering 谱聚类算法的matlab实现 238万源代码下载- www.pudn.com...

提供者:qwert详细说明：谱聚类算法的matlab实现-spectralclusteringalgorithmmatlab文件列表(点击判断是否您需要的文件，如果是垃圾请在下面评价投诉):Bachelorarbeit.pdfImageSeg
谛听汪·2025-04-05 14:17

基于Transformer框架实现微调后Qwen/DeepSeek模型的非流式批量推理

LLamaFactory推理DeepSeek蒸馏模型时无法展示＜think＞思考过程的问题》），接下来就需要针对微调好的模型或者是原始模型（注意需要有一个本地的模型文件，全量微调就是saves下面的文件夹，如果是LoRA
羊城迷鹿·2025-04-05 02:27
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他