lora

如何利用 LoRA 微调大模型，实现高效个性化 AI 方案

LoRA（Low-RankAdaptation，低秩适应）技术的出现为解决这一挑战提供了创新方案。本文将深入探讨LoRA的原理、实现方法以及如何利用它来高效地微调大模型

萧鼎·2025-03-30 13:42

使用llama.cpp量化模型

本次采用的模型为前一篇博客所写的基准模型与LoRA微调后的合并模型。整体实验流程由于基准模型较大就直接在服务器上下载并上

LLM挣扎学员·2025-03-28 08:05

TPAMI 2025 | 通过逐像素密度分布建模的半监督计数

通过逐像素密度分布建模的半监督计数作者：HuiLin,ZhihengMa,RongrongJi,YaoweiWang,ZhouSu,XiaopengHong,DeyuMeng源码：https://github.com/LoraLinH

小白学视觉·2025-03-28 08:34

【transformer理论+实战（三）】必要的 Pytorch 知识

【Transformer理论+实战（三）】必要的Pytorch知识【Transformer理论+实战（二）】Lora本地微调实战--deepseek-r1蒸馏模型【Transformer理论+实战（一）

造夢先森·2025-03-28 02:23

StableDiffusion模型推荐系列（全能型）

那就得再加上lora模型。而为了更优化的效果，我们甚至还要动用ControlNet和VAE模型，这简直就像是无休止

Python程序员小泉·2025-03-27 19:32

AI大模型底层技术——LoRA微调

目录1.LoRA？

9命怪猫·2025-03-27 12:40

LLM实践（二）——基于llama-factory的模型微调

目录SFT的lora微调1、环境部署2、准备数据与配置3、创建微调配置文件：yaml配置文件4、Lora微调：基于lora微调的yaml配置文件启动lora微调5、启动模型：基于llama-factory

lucky_chaichai·2025-03-27 09:44

【diffusers 进阶（十二）】Lora 具体是怎么加入模型的（推理代码篇下）OminiControl

【diffusers极速入门（一）】pipeline实际调用的是什么？call方法!【diffusers极速入门（二）】如何得到扩散去噪的中间结果？Pipelinecallbacks管道回调函数【diffusers极速入门（三）】生成的图像尺寸与UNet和VAE之间的关系【diffusers极速入门（四）】EMA操作是什么？【diffusers极速入门（五）】扩散模型中的Scheduler（noi

多恩Stone·2025-03-27 05:14

Unsloth 库和Hugging Face Transformers 库对比使用

在Unsloth中，save_pretrained_merged方法用于将微调后的LoRA（Low-RankAdaptation）适配器权重与原始模型

背太阳的牧羊人·2025-03-26 21:17

通义万相LoRA模型训练指南

一、训练准备素材规范收集：100-200张1024×768像素的清晰图片。主体要求：占画面70%以上，包含多角度/多表情/多动作样本，避免重复构图。获取方式：建议使用专业摄影设备或游戏引擎渲染获取高精度素材。数据处理标注：使用阿里云百炼平台的智能标注工具自动生成自然语言描述。人物类模型：需包含正脸、侧脸、半身、全身等多样化角度。视频类模型：需准备10-15秒短视频片段（建议25fps）。二、环境配

Liudef06·2025-03-26 05:46

LabVIEW实现LoRa通信

目录1、LoRa通信原理2、硬件环境部署3、程序架构4、前面板设计5、程序框图设计6、测试验证本专栏以LabVIEW为开发平台，讲解物联网通信组网原理与开发方法，覆盖RS232、TCP、MQTT、蓝牙、

不脱发的程序猿·2025-03-23 15:24

【论文解读】DSVP：通过动态扩展实现快速探索的双阶段视点规划器

标题：DSVP:Dual-StageViewpointPlannerforRapidExplorationbyDynamicExpansion作者：HongbiaoZhu,ChaoCao,YukunXia

Travis.X·2025-03-22 08:39

大模型最新面试题系列：微调篇之微调基础知识

一、全参数微调（Full-Finetune）vs参数高效微调（PEFT）对比1.显存使用差异全参数微调：需存储所有参数的梯度（如GPT-3175B模型全量微调需约2.3TB显存）PEFT：以LoRA为例

人肉推土机·2025-03-22 05:42

园林无线灌溉控制系统组成与功能

园林无线灌溉控制解决方案，集成改造原有灌溉系统中的阀门、控制器等部件，配合监测园林环境信息的采集器，利用LORA无线网络进行通讯，经智慧农业云平台调控执行灌溉作业，实现远程手

北京聚英翱翔电子有限公司·2025-03-20 22:17

【Dive Into Stable Diffusion v3.5】1：开源项目正式发布——深入探索SDv3.5模型全参/LoRA/RLHF训练

目录1引言2项目简介3快速上手3.1下载代码3.2环境配置3.3项目结构3.4下载模型与数据集3.5运行指令3.6核心参数说明3.6.1通用参数3.6.2优化器/学习率3.6.3数据相关4结语1引言在人工智能和机器学习领域，生成模型的应用越来越广泛。StableDiffusion作为其中的佼佼者，因其强大的图像生成能力而备受关注。今天，我的开源项目DiveIntoStableDiffusionv3

Donvink·2025-03-20 19:24

通过LoRA（Low-Rank Adaptation）低秩矩阵分解来高效微调权重变化

LoRA的原理LoRA的核心思想是用低秩矩阵分解来建模参数的变化，而不是直接调整整个权重矩阵。这种方法通过减少微调的参数数量来提高训练效率。

背太阳的牧羊人·2025-03-20 08:53

LoRA中黑塞矩阵、Fisher信息矩阵是什么

LoRA中黑塞矩阵、Fisher信息矩阵是什么1.三者的核心概念黑塞矩阵（Hessian）二阶导数矩阵，用于优化问题中判断函数的凸性（如牛顿法），或计算参数更新方向（如拟牛顿法）。

ZhangJiQun&MXP·2025-03-20 07:15

LORA的魔法棒：在Stable Diffusion中挥洒注意力机制的优化咒语 ??

LORA的魔法棒：在StableDiffusion中挥洒注意力机制的优化咒语??欢迎来到我的博客，很高兴能够在这里和您见面！

DTcode7·2025-03-20 06:30

【AI大模型前沿】浙大携手阿里推出HealthGPT：医学视觉语言大模型助力智能医疗新突破

CLAMP-3：多模态技术引领音乐检索新潮流3【AI大模型前沿】浙大携手阿里推出HealthGPT：医学视觉语言大模型助力智能医疗新突破目录系列篇章前言一、项目概述二、技术原理（一）异构低秩适应（H-LoRA

寻道AI小兵·2025-03-19 18:28

使用LoRA微调LLaMA3

使用LoRA微调LLaMA3的案例案例概述在这个案例中，我们将使用LoRA微调LLaMA3模型，进行一个文本分类任务。我们将使用HuggingFace的Transformers库来完成这个过程。

想胖的壮壮·2025-03-19 16:12

无线数据网关自动化测控的LoRa-4G混合网络串口升级、信号扩展高效物联传输网络

DLS11无线数据网关自动化测控的LoRa-4G混合网络串口升级、信号扩展高效物联传输网络DLS11是一款专为VSxxx系列采发仪设计的内置电池低功耗数据转发器，支持LoRA和LTE（4G）无线通信。

河北稳控科技·2025-03-19 06:50

采用 LoRa 解决方案的智慧供应链和物流

冠状病毒病(COVID-19)大流行，不可避免地导致全球供应链和物流行业，出现重大缺口和中断，但LoRa解决方案等新兴技术，可以帮助解决行业在这些充满挑战的时期的困境。

地理探险家·2025-03-19 06:46

追踪问题链中问题的上溯和下延

向下延展（ConsequenceAnalysis&Exploration）：问题“

由数入道·2025-03-18 14:47

从零学习大模型（六）-----LoRA（上）

LoRA简介LoRA（Low-RankAdaptation）是一种参数高效的微调技术，旨在降低微调大规模预训练模型的存储和计算成本。

懒惰才能让科技进步·2025-03-18 06:01

在LORA训练中，LORA模型的矩阵的行列是多少

在LORA训练中，LORA模型的矩阵的行列是多少:Wnew=W+αrBAW_{new}=W+\frac{\alpha}{r}BA

ZhangJiQun&MXP·2025-03-18 05:56

python colorama_Python colorama 模块使用说明

1Colorama模块说明在上篇博客我们了解了prettytable的使用,如下：https://www.cndba.cn/cndba/dave/article/3564使用prettytable模块之后

weixin_39682697·2025-03-17 18:25

python colorama模块失效怎么办_python – 由于模块colorama,无法使用aws CLI

我已经安装了AWSCLI,并尝试在MacOSSierra上使用它.它抱怨没有模块colorama：$awsTraceback(mostrecentcalllast):File"/usr/local/bin

金牛远望号·2025-03-17 18:55

Python Colorama 库详解：终端输出美化的神器

PythonColorama库详解：终端输出美化的神器在开发命令行工具或调试程序时，我们可能会希望通过颜色来区分重要信息，比如警告、错误、提示等。

萧鼎·2025-03-17 18:22

Python之colorama

Python之colorama文章目录Python之colorama1.安装Colorama库2.导入Colorama库3.初始化Colorama4.设置文本颜色和样式5.自定义颜色和样式Colorama

PlutoZuo·2025-03-17 18:21

LORA 微调大模型：从入门到入土

而在众多微调方法中，LORA全名(Low-RankAdaptation)以高效性和实用性，逐渐成为了许多开发者训练模型的首选项。作为一名小有经验的咸鱼开发者，我深知在实际项目中高效的进行

大模型.·2025-03-17 17:49

rStar论文精读

MutualreasoningmakessmallerLLMsstrongerproblem-solvers》论文地址：https://arxiv.org/abs/2408.06195录用会议：ICLR2025背景与挑战挑战1：在SLM中平衡exploration

MoyiTech·2025-03-17 11:33

FIT5147 Data Exploration and Visualisation

MonashUniversityFIT5147DataExplorationandVisualisationSemester1,2025DataExplorationProjectPart1:DataExplorationProjectProposalPart2

·2025-03-17 02:47

AI技术学习笔记系列001：FastLanguageModel.get_peft_model 函数各参数的详细解释

以下是关于代码中FastLanguageModel.get_peft_model函数各参数的详细解释，以及企业实际微调时的选择考量：参数详解及对微调的影响1.r=32（秩）作用：控制LoRA适配器的低秩矩阵的维度

新说一二·2025-03-17 00:43

一周热点：微软攻克语音输入、文本输出难题-Phi-4-multimodal

模型架构该模型采用多模态Transformer架构，通过LoRA（

数据分析能量站·2025-03-16 22:57

关于stable diffusion的lora训练在linux远程工作站的部署

在学校Arc中部署loratraining，一大问题就是依赖缺失和冲突。可以利用miniconda或者anaconda建立虚拟环境来解决。

回天一梦·2025-03-16 19:02

论文阅读笔记——QLORA: Efficient Finetuning of Quantized LLMs

QLoRA论文4-bit标准浮点数量化常见的量化技术是最大绝对值量化：XInt8=round(127absmax(XFP32)XFP32)=round(cFP32,XFP32)式(1)X^{Int8}=

寻丶幽风·2025-03-16 08:15

大模型LLM基于PEFT的LoRA微调详细步骤---第一篇：模型下载篇

模型下载：HuggingFace官网：https://huggingface.co/----需要VPN魔搭社区：https://modelscope.cn/home----国内映射，不需要VPN写在篇始：国内关注方法一即可。其余几种都需要VPN，而且在服务器下载的速度有限~~。下一篇：微调详细流程以及环境...方法一：魔搭（modelscope）下载#需要安装pipinstallmodelscop

素雪风华·2025-03-15 08:42

LoRa无线技术解析

一、Lora技术基础与特点1、LoRa是一种低功耗广域网通信（LPWAN）技术中的一种，是Semtech公司采用和推广的一种基于扩频技术的超远距离无线传输技术。

wmq163·2025-03-14 23:24

python数据处理与分析

:'Colorado'],name='state'),columns=pd.Index(['one','two','three'],n...

聆一·2025-03-13 20:01

大语言模型（LLM）的微调与应用

需通过有监督微调（SFT）或低秩适配（LoRA）等技术优化模型权重。

AI Echoes·2025-03-13 03:50

Sglang部署大模型常用参数详解

Sglang部署大模型常用参数详解常用启动命令HTTP服务器配置API配置并行处理张量并行数据并行专家并行内存和调度其他运行时选项日志记录多节点分布式服务LoRA内核后端约束解码推测解码双稀疏性调试选项优化选项参数概览常用启动命令要启用多

小树苗m·2025-03-12 16:36

Phi-4-multimodal：图、文、音频统一的多模态大模型架构、训练方法、数据细节

Phi-4-Multimodal是一种参数高效的多模态模型，通过LoRA适配器和模式特定路由器实现文本、视觉和语音/音频的无缝集成。

余俊晖·2025-03-12 12:40

在整个大模型LoRA微调中，哪些方法可以提升和优化模型训练后推理效果？

环境：LoRA微调问题描述：在整个大模型LoRA微调中，哪些方法可以提升和优化模型训练后推理效果？

玩人工智能的辣条哥·2025-03-12 11:38

“大语言模型微调”（Fine-tuning）与“大语言模型应用”（LLM Applications）之间的区别

方法：可以是全参数微调，也可以采用参数高效微调（如LoRA、Adapter、PrefixTuning等），后者只调整部分参数而保持原有权重

AI Echoes·2025-03-11 09:06

DeepSeek R1-32B医疗大模型的完整微调实战分析（全码版）

DeepSeekR1-32B微调实战指南├──1.环境准备│├──1.1硬件配置││├─全参数微调：4*A10080GB││└─LoRA微调：单卡24GB│├──1.2软件依赖││├─PyTorch2.1.2

Allen_LVyingbo·2025-03-09 11:33

Qwen微调-环境配置-week9

img-blog.csdnimg.cn/direct/213a0fb70a2e430684155bbd06a7ff36.png#pic_center)Qwen1.5-4B微调-环境安装对Qwen1.5-4B的微调我采用LoRA

breeze281·2025-03-08 23:01

python使用flask框架ORM操作mysql oracle

python使用flask框架ORM操作mysqloracle示例一：python调用flask框架调用方法输出示例二：python调用flask连接MySQL示例三：oracle连接需要指定instant_clientoracle

QMQ2021·2025-03-08 08:49

社会科学市场博弈和价格预测之时间序列挖掘（Datawhale AI 夏令营）

深入理解赛题——探索性数据分析首先，我们先介绍一下什么是EDA：探索性数据分析（ExploratoryDataAnalysis,EDA）是一组数据分析技术，旨在总结其主要特征，通常通过可视化手段来实现。

会飞的Anthony·2025-03-08 00:20

llama-factory生成Meta-Llama-3-8B-Instruct模型api服务

完成模型的微调训练后，需要开启其api服务进行调用，参考官方https://github.com/hiyouga/LLaMA-Factory/blob/main/examples/inference/llama3_lora_sft.yaml

码不动了鸭·2025-03-08 00:19

LLMs之Llama-3：基于Colab平台(免费T4-GPU)利用LLaMA-Factory的GUI界面(底层采用unsloth优化框架【加速训练5~30倍+减少50%的内存占用】)对llama-3

的内存占用】)对llama-3-8b-Instruct-bnb-4bit模型采用alpaca数据集【instruction-input-output】实现CLI方式/GUI傻瓜可视化方式，进配置微调→参数行LoRA

一个处女座的程序猿·2025-03-07 09:41

推荐频道