LoRA

实战LLM强化学习——使用GRPO（DeepSeek R1出圈算法）

——关于使用Unsloth库、LoRa微调及GRPOTrainer自定义奖励函数实现“只输出10个英语单词”的探索为什么要进行“只输出10个英文单词”的极端尝试？

FF-Studio·2025-01-30 19:54

用自然语言与mysql数据库对话几种方案的思考

服务器中的数据大约有两万多条记录,服务器的作用主要是记录设备的出库和回库的流水账(即以时间为序的记录),但有一些sql查询比较复杂,必须根据特定的sql语句查询,否则很难得到准确稳定的答案,调试和训练大模型的方法有多种方式,比如lora

闲云野鹤_SG·2025-01-30 08:52

TPA注意力机制详解及代码复现

这种方法类似于一种“动态的LoRA”，通过巧妙的数学变换，在不牺牲性能的前提下大幅降低了模型的内存需求。TPA注意力机制的

清风AI·2025-01-29 17:28

lorawan服务器通信协议,LoRaWAN网络架构和解决方案介绍

一个LoRaWAN典型的网络架构中包含了终端、基站、NS(网络服务器)、应用服务器这四个部分。基站和终端之间采用星型网络拓扑，由于LoRa的长距离特性，它们之间得以使用单跳传输。

胡晓晴·2025-01-29 15:41

湿度传感器pcb遇到的问题

画湿度传感器pcb遇到的问题：1.lora模块封装画反了。由于在布局时，使用快捷键X使被选中的器件左右对调，导致封装反了。重新调整lora模块部分布局。

司端杨·2025-01-28 02:01

学习ESP32系列一个超级有用的网站

ESP32ArduinoIDEESP32ArduinoIDE2.0VSCode和PlatformIOESP32引脚分布ESP32输入输出ESP32PWMESP32模拟输入ESP32中断定时器ESP32深度睡眠协议ESP32Web服务器ESP32LoRaESP32BLEESP32BLE

LS_learner·2025-01-25 12:57

【Lora微调】提高模型效率的创新方法

为了在保持模型性能的同时减少计算开销，**Lora（Low-RankAdaptation）**应运而生。

@fishv·2025-01-25 07:19

stable diffusion webui电商基础模型

电商必备的10款StablediffusionWebUI模型-知乎一、WFProduct电商场景这是一个专门为电商摄影场景训练的lora模型，可以生成各种极具设计感的场景图，效果逼真，无论是电商、海报、

Kun Li·2025-01-25 05:06

stable diffusion 模型和lora融合

炜哥的AI学习笔记——SuperMerger插件学习-哔哩哔哩接下来学习的插件名字叫做SuperMerger，它的作用正如其名，可以融合大模型或者LoRA，一般来说会结合之前的插件LoRABlockWeight

Kun Li·2025-01-25 05:06

LLaMA Pro是什么相比于lora full freeze有什么区别怎么使用

1.LLaMAPro是什么？LLaMAPro是一种基于LLaMA架构改进的大型语言模型（LLM），旨在解决大模型微调中的知识遗忘问题。它通过在原有模型的基础上扩展新的模块（如Transformer块），并在微调时仅训练这些新增模块，从而在适应新任务的同时保留预训练模型的通用知识。LLaMAPro在代码理解、数学推理和语言理解等任务上表现出色，特别适合需要持续学习和多任务处理的场景。2.LLaMAP

Ven%·2025-01-24 16:58

增强大型语言模型（LLM）可访问性：深入探究在单块AMD GPU上通过QLoRA微调Llama 2的过程

EnhancingLLMAccessibility:ADeepDiveintoQLoRAThroughFine-tuningLlama2onasingleAMDGPU—ROCmBlogs基于之前的博客《

109702008·2025-01-22 11:35

VYOS容器运行DaloRadius实现AAA认证登录

整体架构freeradius提供AAA认证服务mysql提供用户认证授权信息存储daloradius提供Web界面管理用户认证授权信息mysql添加镜像addcontainerimagemysql:5.6

GTaylor·2025-01-21 09:54

LLaMA-Factory 基于 LoRA 的 SFT 指令微调及相关功能梳理

1.数据准备微调数据的格式为Alpaca或ShareGPT格式，需进行以下步骤：自定义数据集转换：将原始数据集转换成指定格式（JSON格式）。示例数据：{"instruction":"写一个商品文案","input":"类型#裤*版型#宽松","output":"宽松的阔腿裤吸引了大量明星的喜爱，设计感十足。"}数据注册：修改data/dataset_info.json文件，将数据集注册到系统中。

Ambition_LAO·2025-01-21 07:42

OpenBayes 一周速览丨ShowUI专注GUI自动化，可解析屏幕截图和用户指令；U-MATH数据集上线

公共资源速递5个数据集：U-MATH数学推理数据集AlMedicalChatbot医学对话数据集Tecnalia电子设备废物高光谱数据集WaterlooExploration大规模图像质量评估数据库WasteClassification

·2025-01-20 23:52

Flex.1-Alpha - 可进行适当微调的新修改通量模型。

“Flex.1以FLUX.1-schnell-training-adapter开始，目的是在FLUX.1-schnell上训练LoRA。

吴脑的键客·2025-01-20 15:05

【大模型LoRa微调】Qwen2.5 Coder 指令微调【代码已开源】

本文需要用到的代码已经放在GitHub的仓库啦，别忘了给仓库点个小心心~~~https://github.com/LFF8888/FF-Studio-Resources第001个文件哦~一、引言：大语言模型与指令微调1.1大语言模型发展简史随着深度学习的飞速发展，特别是Transformer架构在自然语言处理（NLP）领域的成功，大语言模型（LLM,LargeLanguageModel）成为近年来

FF-Studio·2025-01-18 07:31

android自定义控件不显示,解决Android Studio Design界面不显示layout控件的问题

中的Theme前添加Base@color/colorPrimary@color/colorPrimaryDark@color/colorAccent补充知识：AndroidStudioXML文件之style

叶江流·2025-01-18 05:46

免费像素画绘制软件 | Pixelorama v1.0.3

Pixelorama是一款开源像素艺术多工具软件，旨在为用户提供一个强大且易于使用的平台来创作各种像素艺术作品，包括精灵、瓷砖和动画。

dntktop·2024-09-16 00:47

昇思MindSpore AI框架MindFormers实践3:ChatGLM3-6B对一段文字进行提取

mindspore-CSDN博客使用了MindSpore2.2和MindFormers1.0支持的模型：KeyError:"modelmustbeinodict_keys(['gpt2','gpt2_lora

skywalk8163·2024-09-15 11:26

一文看懂物联网通信技术

近距离通信技术包括Wi-Fi、蓝牙、ZigBee等，远距离通信技术以2G/3G/4G/5G、LPWAN（NB-IoT、eMTC、LoRa等）为代

SEEKSEE AIoT·2024-09-14 17:52

开源模型应用落地-qwen2-7b-instruct-LoRA微调-unsloth（让微调起飞）-单机单卡-V100（十七）

一、前言本篇文章将在v100单卡服务器上，使用unsloth去高效微调QWen2系列模型，通过阅读本文，您将能够更好地掌握这些关键技术，理解其中的关键技术要点，并应用于自己的项目中。使用unsloth能够使模型的微调速度提高2-5倍。在处理大规模数据或对时间要求较高的场景下，这可以大大节省微调所需的时间，提高开发效率。其次，可减少80%的内存使用。这对于资源有限的环境或者需要同时运行多个微调任务的

开源技术探险家·2024-09-14 13:28

大模型微调 - 基于预训练大语言模型的对话生成任务训练代码

importtorchfromdatasetsimportDatasetfrommodelscopeimportAutoTokenizer,AutoModelForCausalLMfrompeftimportLoraConfig

西笑生·2024-09-14 05:00

QLoRa使用教程

一、定义定义案例1二、实现定义QLoRa:量化+LoRa.网址：https://huggingface.co/docs/peft/main/en/developer_guides/quantization

云帆@·2024-09-13 03:12

大模型基础知识-LoRA与QLoRA

介绍LoRA与QLoRA1.LoRA(Low-RankAdaptation)LoRA是一种用于大规模语言模型(LLM)的参数高效微调技术，旨在减少微调大模型所需的计算资源和存储空间。

破壁者-燕·2024-09-13 03:12

通感算一体化：（一）初步阐明定义和挑战

下面将分别介绍微波波段的几种代表性技术：WiFi、mmWave、UWB、Bluetooth、RFID、（NFC、ZigBee、LoRa、NB-IoT）这几种常见技术。

炸膛坦客·2024-09-11 23:40

深度学习速通系列:LoRA微调是什么

LoRA微调（Low-RankAdaptation）是一种用于大型预训练语言模型（LLM）的高效微调技术。

Ven%·2024-09-11 11:47

大模型LLM面试常见算法题-包括Attention和Transformer常见面试题

介绍LoRA与QLoRARAG和微调的区别是什么？哪些因素会导致LLM的偏见？什么是思维链（CoT）提示？Tokenizer的实现方法及原理解释一下大模型的涌现能力？

剑圣土豆·2024-09-10 15:57

[Lora][微调] Qwen-VL/Qwen-VL-chat微调问题

@[Lora][微调]Qwen-VL/Qwen-VL-chat微调问题关于Qwen-VL在lora过程中出现的问题总结。

翔迅AI·2024-09-10 03:07

2023-07-12

模型：xxmix9realistic_v30LoRA：,,,室内、起居室、咖啡杯等构建环境氛围效果图1(SFW:2),HDR,UHD,8K,bestquality,masterpiece,Highlydetailed

大法师的输出·2024-09-09 16:22

【神经网络系列（高级）】神经网络Grokking现象的电路效率公式——揭秘学习飞跃的秘密【通俗理解】

2309.02390参考链接：[1]https://x.com/VikrantVarma_/status/1699823229307699305[2]https://pair.withgoogle.com/explorables

神经美学_茂森·2024-09-09 14:54

记录-小程序720°VR（跳转H5页面实现）

全景浏览提前准备1拍照支架/照片合成软件（KolorAutopanoGiga4.0）或者全景相机2pannellum（pannellum是一个轻量级、免费和开源的Web全景查看器。

久违的小技巧·2024-09-08 04:05

大模型推理框架 RTP-LLM 架构解析

RTP-LLM与当前广泛使用的多种主流模型兼容，使用高性能的CUDAkernel,包括PagedAttention、FlashAttention、FlashDecoding等，支持多模态、LoRA、P-Tuning

阿里技术·2024-09-07 23:32

flux 文生图大模型自有数据集 lora微调训练案例

参考：https://github.com/ostris/ai-toolkit目前Flux出现了3个训练工具SimpleTunerhttps://github.com/bghira/SimpleTunerX-LABS的https://github.com/XLabs-AI/x-fluxai-toolkithttps://github.com/ostris/ai-toolkit待支持：https:/

loong_XL·2024-09-05 20:47

【WPF动画】

ColorAni

TIF星空·2024-09-01 17:51

Flutter Theme Tailor Annotation使用指南：自定义主题注解

FlutterThemeTailorAnnotation使用指南：自定义主题注解简介theme_tailor_annotation是一个Dart注解包，它与ThemeTailor代码生成器配合使用，用于帮助开发者自定义

明似水·2024-09-01 01:43

Flora女王的感恩日记

2019.07.31Flora女王的感恩日记感恩我的宇宙哥哥每天都把我照顾的那么好，谢谢，谢谢，谢谢！感恩今天去医院做身体检查医院里的人不是很多我可以顺利完成，谢谢，谢谢，谢谢！

Flora女王·2024-08-31 11:46

开源模型应用落地-qwen2-7b-instruct-LoRA微调-ms-swift-单机单卡-V100（十二）

二、术语介绍2.1.LoRA微调LoRA(Low-RankAdaptation)用于微调大型语言模型(LLM)。

开源技术探险家·2024-08-31 10:41

2023-07-02

大模型：breakdomainrealistic_R2333LoRA：,效果图(SFW:2),HDR,UHD,8K,bestquality,masterpiece,Highlydetailed,Studiolighting

大法师的输出·2024-08-29 07:05

学习 Rust：I/O Ring

Areyoudisappointedwithselect,poll,epollorAIO?

老父亲的能量嘎嘣脆·2024-08-28 22:27

2022-2023学年英语周报九年级第10期答案及试题（初三第十期）

阅读理解：CastleRock,Colorado,isintheFrontRange进入查看：2022-2023学年英语周报九年级第10期答案及试题（初三第十期）CastleRock,Colorado,

gaokaos·2024-08-28 15:11

数据科学生命周期的7个步骤–在业务中应用AI

数据科学生命周期的7个步骤–在业务中应用AI1.问题定义（BusinessUnderstanding）2.数据收集（DataCollection）3.数据准备（DataPreparation）4.数据探索（ExploratoryDataAnalysis

听忆.·2024-08-28 11:10

NB-IoT，LoRA，WIFI，蓝牙，Zigbee，MQTT，CoAP之间的关系

概览（从上往下）应用层协议：MQTT、CoAP...网络层、传输协议：IPv4、IPv6、TCP、6LoWPAN、RPL物理层、数据链路层协议：近距离通信：Dash、NFC、Bluetooth、RFID、IRdA...远距离蜂窝通信：GSM(2G)、WCDMA(3G)、LTE(3.9G)、TD-LTE(4G)、NB-IOT...远距离非蜂窝通信：ZigBee、WiFi、Z-Wave、wHART、L

hanchufeng2020·2024-08-28 10:33

大模型18：微调大模型方法PEFT(LoRA等) — 训练 “ChatGLM2“ 项目

微调大模型的方法之一是PEFT（Parameter-EfficientFine-Tuning），其中包括LoRA（Low-RankAdaptation）等技术。

bluewelkin·2024-08-27 01:38

大模型微调方法总结：LoRA、Adapter、Prefix-tuning、P-tuning、Prompt-tuning

本文将重点介绍五种不同的微调方法：LoRA、Adapter、Prefix-tuning、P-tuning和Prompt-tuning，并对它们进行总结。

百度_开发者中心·2024-08-26 19:14

大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）_adapter微调 p tuning

2022年11月30日，ChatGPT发布至今，国内外不断涌现出了不少大模型，呈现“百模大战”的景象，比如ChatGLM-6B、LLAMA、Alpaca等模型及在此模型基础上进一步开发的特定领域的大模型。今年3月15日，GPT-4发布后，也出现了一些多模态的大模型，比如百度的文心一言、讯飞星火认知大模型等等。要想训练一个针对特定领域的大模型，如果采用全量参数微调（FullParameterFutu

Cc不爱吃洋葱·2024-08-26 19:12

欺诈文本分类微调（六）：Lora单卡训练

关于微调方法，我们将使用比较普遍的Lora：在模型中注入低秩矩阵的方式。关于训练器，使用transformers库中提供的Trainer类。2.数据准备2.1加载数据导入要使用的基础包。impor

沉下心来学鲁班·2024-08-25 11:27

智慧路灯杆会用到哪些通信方式

有线通信可采用光纤、网线、电力线载波等方式，且一般以光纤和网线为主，电力线载波为备选；无线通信可采用NB-IoT、3G/4G/5G、LoRa、ZigBee等方式。

ianvtenr·2024-03-15 05:00

Mastering Convolutional Neural Networks: A Comprehensive Practical Exploration

ConvolutionalNeuralNetworks(CNNs)haverevolutionizedthefieldofcomputervisionandimagerecognition,enablinggroundbreakingadvancementsinvariousdomains.Thesepowerfuldeeplearningmodelshaveproventheirprowessi

Bio大恐龙·2024-03-10 21:51

oracle使用正则表达式REGEXP_SUBSTR提取XML里面的内容

XMLTYPE(XML),‘xphat’).getstringval()提取XML，长度过长存在报错ORA-06502:PL/SQL:数字或值错误:characterstringbuffertoosmallORA

qq_39255840·2024-03-03 14:34

大模型训练——PEFT与LORA介绍

大模型训练中的PEFT（Parameter-EfficientFine-Tuning）与LoRA（Low-RankAdaptation）是两种重要的技术，它们在大型预训练模型的应用中发挥着重要作用。

MarkHD·2024-03-03 10:30

推荐频道