LoRa

第31篇：FedSA-LoRA（联邦学习+lora+个性化升级版）

第一部分：要解决的问题第二部分：解决问题所提出的idea研究发现，A矩阵负责学习通用知识，而B矩阵则专注于捕捉客户端特定知识。这一发现基于对不同数据异质性水平下，客户端间A和B矩阵的相似性分析。第三部分：新方法效果任务：在自然语言理解（GLUE基准）和生成任务（GSM8K、CodeSearchNet）中测试。性能

还不秃顶的计科生·2025-04-11 19:28

ComfyUI 完全入门：使用LoRA模型

本文继续给大家分享ComfyUI的入门必备技能：使用LoRA模型。

AI劳模·2025-04-11 03:09

金融大模型

https://github.com/AI4Finance-Foundation/FinGPT/tree/master/fingpt/FinGPT-v3FinGPTv3系列是在新闻和微博情绪分析数据集上使用LoRA

兔兔爱学习兔兔爱学习·2025-04-10 11:28

DeepSeek底层揭秘——《推理时Scaling方法》技术对比浅析

笔者尝试对比了“关于推理时Scaling”与现有技术，粗浅分析如下：与LoRA的对比区别：应用场景：LoRA是一种参数高效微调方法，主要用于在训练阶段对模型进行微调，以适应特定的任务或数据集。

9命怪猫·2025-04-09 08:58

贪吃蛇游戏项目完整版

*;importjava.util.Random;/***小蛇吃的苹果*/publicclassApple{privatestaticColorAPPLE_COLOR=Color.RED;//苹果的颜色

KJ.JK·2025-04-08 19:11

以微调deepseek为例，基于transformers改写实现lora+

LoRA+:EfficientLowRankAdaptationofLargeModels24年2月12的论文，主要思想就是对LoRA进行了一些改进，提升了模型效果。

淡水，·2025-04-08 11:41

下一代AI App架构：前端生成，后端消失

但随着AI原生应用的兴起，特别是大模型本地化、小模型部署、WebAssembly、LoRA微调等技术的成熟，一个全新的架构范式正在悄然出现：AIApp的下一代形态：前端生成，后端消失。

萧鼎·2025-04-07 12:48

QLoRA 精调模型如何部署上线？FastAPI 封装 × Docker 打包 × 多模型热切换实战指南

QLoRA精调模型如何部署上线？FastAPI封装×Docker打包×多模型热切换实战指南✅一、QLoRA精调模型怎么“上线”？

AI筑梦师·2025-04-07 03:53

ST 芯片产品线全景图

ST芯片分为四大类：通用MCU（STM32）无线MCU（带BLE/LoRa）专用BLE芯片（BlueNRG）MPU（运行Linux的）STM32WB和STM32WLE虽然属于无线MCU，但本质上仍然是STM32

damo王·2025-04-06 19:58

【大模型】微调一个大模型需要多少 GPU 显存？

up主页：AI老兵tags：#GPU显存#模型微调#LoRA#QLoRA#参数计算本集视频详细介绍了在模型微调过程中GPU显存需求的计算方法，包括全量微调和高效微调（如LoRA）的情况。

酒酿小圆子～·2025-04-06 13:50

AI安全算法工程师的算法笔记

或者想深入了解AI安全研究与工程实践，强烈推荐你关注这个微信公众号AI安全这点事由AI安全方向的一线技术从业者主理，长期聚焦在两个关键方向：大模型前沿技术最新开源大模型拆解与能力分析SFT/RLHF/LoRA

AI安全这点事·2025-04-06 09:25

谱聚类算法 matlab,SpectralClustering 谱聚类算法的matlab实现 238万源代码下载- www.pudn.com...

提供者:qwert详细说明：谱聚类算法的matlab实现-spectralclusteringalgorithmmatlab文件列表(点击判断是否您需要的文件，如果是垃圾请在下面评价投诉):Bachelorarbeit.pdfImageSeg

谛听汪·2025-04-05 14:17

基于Transformer框架实现微调后Qwen/DeepSeek模型的非流式批量推理

LLamaFactory推理DeepSeek蒸馏模型时无法展示＜think＞思考过程的问题》），接下来就需要针对微调好的模型或者是原始模型（注意需要有一个本地的模型文件，全量微调就是saves下面的文件夹，如果是LoRA

羊城迷鹿·2025-04-05 02:27

大模型架构与训练方向

熟悉参数高效微调技术（如LoRA、Adapter），用于降低训练成本‌4。‌分布式训练技术‌掌握数据并行、

凌云C·2025-04-04 15:44

用LLama factory时报类似Process 2504721 got signal: 1的解决方法

之前用nohup来远程跑LLamafactory微调脚本，是没有问题的，但今天发现运行类似下面这个命令时，nohupllamafactory-clitrainexamples/train_qlora/qwen_lora.yaml

蛐蛐蛐·2025-04-04 04:28

重塑通信边界，基于ZYNQ7000 FPGA驱动的多频段多协议软件无线电平台

板卡集成了一个E22-900M22SLoRa模块，可覆盖850~930MHz超宽适用频率范

迪普微社区·2025-04-03 21:18

用 5 条数据搞定行业专家模型：Few-shot Prompt × 微调联合实战指南

这不是口号，而是已经被验证过的工程范式：Few-shotPrompt+LoRA微调的组合打法，已经在多个领域（财税、政务、法律、教育）中获

AI筑梦师·2025-04-03 09:56

Mysql --SQL通用语法，约束，三大范式，备份还原，多表查询，事务

DataBase简称DB数据库：用于存储和管理数据库的仓库数据库的特点：1.持久化存储数据的，其实数据库就是一个文件系统2.数据库方法存储和管理数据库3.使用了统一的方式操作数据库常见的数据库软件MysqlOracleMysql

RaoDuty·2025-04-03 07:44

工业 4.0 与大模型协同驱动企业深度价值实现 —— 基于 DEEPSEEK 框架的理论与实践

本文提出DEEPSEEK价值实现框架（Data-drivenExploration,Enhancement,Prediction,andSmartDecision-making），论证工业4.0基础设施是大模型赋能企业的必要前提

Wnq10072·2025-04-01 15:38

大模型微调系列（三）QLoRA微调

本文会带给你认识常用的指令监督微调数据集如何构建自定义数据集为什么是QLoRA学会使用LLamFactory进行QLoRA微调大模型一、数据集常用的数据集有Alpaca格式和ShareGPT格式，下面我们分别介绍这两种格式数据集

topfine·2025-04-01 00:22

《无线江湖五绝：BLE/WiFi/ZigBee的频谱大战》

点击下面图片带您领略全新的嵌入式学习路线爆款热榜88万+阅读1.6万+收藏文章目录**第一回·武林大会，群雄并起****第二回·WiFi的“降龙十八掌”****第三回·BLE的“峨眉轻功”****第四回·ZigBee的“暗器百解”****第五回·LoRa

【云轩】·2025-03-31 21:55

如何利用 LoRA 微调大模型，实现高效个性化 AI 方案

LoRA（Low-RankAdaptation，低秩适应）技术的出现为解决这一挑战提供了创新方案。本文将深入探讨LoRA的原理、实现方法以及如何利用它来高效地微调大模型

萧鼎·2025-03-30 13:42

使用llama.cpp量化模型

本次采用的模型为前一篇博客所写的基准模型与LoRA微调后的合并模型。整体实验流程由于基准模型较大就直接在服务器上下载并上

LLM挣扎学员·2025-03-28 08:05

TPAMI 2025 | 通过逐像素密度分布建模的半监督计数

通过逐像素密度分布建模的半监督计数作者：HuiLin,ZhihengMa,RongrongJi,YaoweiWang,ZhouSu,XiaopengHong,DeyuMeng源码：https://github.com/LoraLinH

小白学视觉·2025-03-28 08:34

【transformer理论+实战（三）】必要的 Pytorch 知识

【Transformer理论+实战（三）】必要的Pytorch知识【Transformer理论+实战（二）】Lora本地微调实战--deepseek-r1蒸馏模型【Transformer理论+实战（一）

造夢先森·2025-03-28 02:23

StableDiffusion模型推荐系列（全能型）

那就得再加上lora模型。而为了更优化的效果，我们甚至还要动用ControlNet和VAE模型，这简直就像是无休止

Python程序员小泉·2025-03-27 19:32

AI大模型底层技术——LoRA微调

目录1.LoRA？

9命怪猫·2025-03-27 12:40

LLM实践（二）——基于llama-factory的模型微调

目录SFT的lora微调1、环境部署2、准备数据与配置3、创建微调配置文件：yaml配置文件4、Lora微调：基于lora微调的yaml配置文件启动lora微调5、启动模型：基于llama-factory

lucky_chaichai·2025-03-27 09:44

【diffusers 进阶（十二）】Lora 具体是怎么加入模型的（推理代码篇下）OminiControl

【diffusers极速入门（一）】pipeline实际调用的是什么？call方法!【diffusers极速入门（二）】如何得到扩散去噪的中间结果？Pipelinecallbacks管道回调函数【diffusers极速入门（三）】生成的图像尺寸与UNet和VAE之间的关系【diffusers极速入门（四）】EMA操作是什么？【diffusers极速入门（五）】扩散模型中的Scheduler（noi

多恩Stone·2025-03-27 05:14

Unsloth 库和Hugging Face Transformers 库对比使用

在Unsloth中，save_pretrained_merged方法用于将微调后的LoRA（Low-RankAdaptation）适配器权重与原始模型

背太阳的牧羊人·2025-03-26 21:17

通义万相LoRA模型训练指南

一、训练准备素材规范收集：100-200张1024×768像素的清晰图片。主体要求：占画面70%以上，包含多角度/多表情/多动作样本，避免重复构图。获取方式：建议使用专业摄影设备或游戏引擎渲染获取高精度素材。数据处理标注：使用阿里云百炼平台的智能标注工具自动生成自然语言描述。人物类模型：需包含正脸、侧脸、半身、全身等多样化角度。视频类模型：需准备10-15秒短视频片段（建议25fps）。二、环境配

Liudef06·2025-03-26 05:46

LabVIEW实现LoRa通信

目录1、LoRa通信原理2、硬件环境部署3、程序架构4、前面板设计5、程序框图设计6、测试验证本专栏以LabVIEW为开发平台，讲解物联网通信组网原理与开发方法，覆盖RS232、TCP、MQTT、蓝牙、

不脱发的程序猿·2025-03-23 15:24

【论文解读】DSVP：通过动态扩展实现快速探索的双阶段视点规划器

标题：DSVP:Dual-StageViewpointPlannerforRapidExplorationbyDynamicExpansion作者：HongbiaoZhu,ChaoCao,YukunXia

Travis.X·2025-03-22 08:39

大模型最新面试题系列：微调篇之微调基础知识

一、全参数微调（Full-Finetune）vs参数高效微调（PEFT）对比1.显存使用差异全参数微调：需存储所有参数的梯度（如GPT-3175B模型全量微调需约2.3TB显存）PEFT：以LoRA为例

人肉推土机·2025-03-22 05:42

园林无线灌溉控制系统组成与功能

园林无线灌溉控制解决方案，集成改造原有灌溉系统中的阀门、控制器等部件，配合监测园林环境信息的采集器，利用LORA无线网络进行通讯，经智慧农业云平台调控执行灌溉作业，实现远程手

北京聚英翱翔电子有限公司·2025-03-20 22:17

【Dive Into Stable Diffusion v3.5】1：开源项目正式发布——深入探索SDv3.5模型全参/LoRA/RLHF训练

目录1引言2项目简介3快速上手3.1下载代码3.2环境配置3.3项目结构3.4下载模型与数据集3.5运行指令3.6核心参数说明3.6.1通用参数3.6.2优化器/学习率3.6.3数据相关4结语1引言在人工智能和机器学习领域，生成模型的应用越来越广泛。StableDiffusion作为其中的佼佼者，因其强大的图像生成能力而备受关注。今天，我的开源项目DiveIntoStableDiffusionv3

Donvink·2025-03-20 19:24

通过LoRA（Low-Rank Adaptation）低秩矩阵分解来高效微调权重变化

LoRA的原理LoRA的核心思想是用低秩矩阵分解来建模参数的变化，而不是直接调整整个权重矩阵。这种方法通过减少微调的参数数量来提高训练效率。

背太阳的牧羊人·2025-03-20 08:53

LoRA中黑塞矩阵、Fisher信息矩阵是什么

LoRA中黑塞矩阵、Fisher信息矩阵是什么1.三者的核心概念黑塞矩阵（Hessian）二阶导数矩阵，用于优化问题中判断函数的凸性（如牛顿法），或计算参数更新方向（如拟牛顿法）。

ZhangJiQun&MXP·2025-03-20 07:15

LORA的魔法棒：在Stable Diffusion中挥洒注意力机制的优化咒语 ??

LORA的魔法棒：在StableDiffusion中挥洒注意力机制的优化咒语??欢迎来到我的博客，很高兴能够在这里和您见面！

DTcode7·2025-03-20 06:30

【AI大模型前沿】浙大携手阿里推出HealthGPT：医学视觉语言大模型助力智能医疗新突破

CLAMP-3：多模态技术引领音乐检索新潮流3【AI大模型前沿】浙大携手阿里推出HealthGPT：医学视觉语言大模型助力智能医疗新突破目录系列篇章前言一、项目概述二、技术原理（一）异构低秩适应（H-LoRA

寻道AI小兵·2025-03-19 18:28

使用LoRA微调LLaMA3

使用LoRA微调LLaMA3的案例案例概述在这个案例中，我们将使用LoRA微调LLaMA3模型，进行一个文本分类任务。我们将使用HuggingFace的Transformers库来完成这个过程。

想胖的壮壮·2025-03-19 16:12

无线数据网关自动化测控的LoRa-4G混合网络串口升级、信号扩展高效物联传输网络

DLS11无线数据网关自动化测控的LoRa-4G混合网络串口升级、信号扩展高效物联传输网络DLS11是一款专为VSxxx系列采发仪设计的内置电池低功耗数据转发器，支持LoRA和LTE（4G）无线通信。

河北稳控科技·2025-03-19 06:50

采用 LoRa 解决方案的智慧供应链和物流

冠状病毒病(COVID-19)大流行，不可避免地导致全球供应链和物流行业，出现重大缺口和中断，但LoRa解决方案等新兴技术，可以帮助解决行业在这些充满挑战的时期的困境。

地理探险家·2025-03-19 06:46

追踪问题链中问题的上溯和下延

向下延展（ConsequenceAnalysis&Exploration）：问题“

由数入道·2025-03-18 14:47

从零学习大模型（六）-----LoRA（上）

LoRA简介LoRA（Low-RankAdaptation）是一种参数高效的微调技术，旨在降低微调大规模预训练模型的存储和计算成本。

懒惰才能让科技进步·2025-03-18 06:01

在LORA训练中，LORA模型的矩阵的行列是多少

在LORA训练中，LORA模型的矩阵的行列是多少:Wnew=W+αrBAW_{new}=W+\frac{\alpha}{r}BA

ZhangJiQun&MXP·2025-03-18 05:56

python colorama_Python colorama 模块使用说明

1Colorama模块说明在上篇博客我们了解了prettytable的使用,如下：https://www.cndba.cn/cndba/dave/article/3564使用prettytable模块之后

weixin_39682697·2025-03-17 18:25

python colorama模块失效怎么办_python – 由于模块colorama,无法使用aws CLI

我已经安装了AWSCLI,并尝试在MacOSSierra上使用它.它抱怨没有模块colorama：$awsTraceback(mostrecentcalllast):File"/usr/local/bin

金牛远望号·2025-03-17 18:55

Python Colorama 库详解：终端输出美化的神器

PythonColorama库详解：终端输出美化的神器在开发命令行工具或调试程序时，我们可能会希望通过颜色来区分重要信息，比如警告、错误、提示等。

萧鼎·2025-03-17 18:22

Python之colorama

Python之colorama文章目录Python之colorama1.安装Colorama库2.导入Colorama库3.初始化Colorama4.设置文本颜色和样式5.自定义颜色和样式Colorama

PlutoZuo·2025-03-17 18:21

推荐频道