LoRa

开源模型应用落地-qwen2-7b-instruct-LoRA微调&合并-ms-swift-单机多卡-RTX 4090双卡（十五）

二、术语介绍2.1.LoRA微调LoRA(Low-RankAdaptation)用于微调大型语言模型(LLM)。
开源技术探险家·2025-02-12 04:50

.NET Core/.NET6 使用DbContext 连接数据库，SqlServer和MySql

usingMicrosoft.EntityFrameworkCore;SQLserver需要添加包Microsoft.EntityFrameworkCore.SqlServerMySql需要添加包Pomelo.EntityFrameworkCore.MySqlOracle
weixin_42199478·2025-02-10 18:39

The following classes could not be instantiated

Thefollowingclassescouldnotbeinstantiated”等信息，通过查询资料都说要将style文件夹下主题从@color/colorPrimary@color/colorPrimaryDark@color/colorAccent
小强的奋斗人生·2025-02-10 16:53

基于 llama-Factory 动手实践 Llama 全参数 SFT 和 LoRA SFT

它提供了简洁的界面和强大的功能，让你无需复杂的代码编写，就能轻松完成Llama模型的SFT任务，无论是全参数微调还是参数高效的LoRA微调，llama-Factory都能轻松搞定。
kakaZhui·2025-02-09 12:36

WPF进阶 | WPF 动画特效揭秘：实现炫酷的界面交互效果

|WPF动画特效揭秘：实现炫酷的界面交互效果前言一、WPF动画基础概念1.1什么是WPF动画1.2动画的基本类型1.3动画的核心元素二、线性动画详解2.1DoubleAnimation的使用2.2ColorAnimation
xcLeigh·2025-02-08 23:58

使用一个大语言模型对另一个大语言模型进行“调教”

•PEFT：用于微调，特别是LoRA（Low-RankAdaptation）等技术。•Accelerate：用
大霸王龙·2025-02-07 03:25

【llm对话系统】大模型 Llama 源码分析之 LoRA 微调

LoRA(Low-RankAdaptation)是一种高效的微调方法，它通过引入少量可训练参数，固定预训练模型的权重，从而在保持性能的同时大大减少了计算开销。
kakaZhui·2025-02-02 13:14

实战LLM强化学习——使用GRPO（DeepSeek R1出圈算法）

——关于使用Unsloth库、LoRa微调及GRPOTrainer自定义奖励函数实现“只输出10个英语单词”的探索为什么要进行“只输出10个英文单词”的极端尝试？
FF-Studio·2025-01-30 19:54

用自然语言与mysql数据库对话几种方案的思考

服务器中的数据大约有两万多条记录,服务器的作用主要是记录设备的出库和回库的流水账(即以时间为序的记录),但有一些sql查询比较复杂,必须根据特定的sql语句查询,否则很难得到准确稳定的答案,调试和训练大模型的方法有多种方式,比如lora
闲云野鹤_SG·2025-01-30 08:52

TPA注意力机制详解及代码复现

这种方法类似于一种“动态的LoRA”，通过巧妙的数学变换，在不牺牲性能的前提下大幅降低了模型的内存需求。TPA注意力机制的
清风AI·2025-01-29 17:28

lorawan服务器通信协议,LoRaWAN网络架构和解决方案介绍

一个LoRaWAN典型的网络架构中包含了终端、基站、NS(网络服务器)、应用服务器这四个部分。基站和终端之间采用星型网络拓扑，由于LoRa的长距离特性，它们之间得以使用单跳传输。
胡晓晴·2025-01-29 15:41

湿度传感器pcb遇到的问题

画湿度传感器pcb遇到的问题：1.lora模块封装画反了。由于在布局时，使用快捷键X使被选中的器件左右对调，导致封装反了。重新调整lora模块部分布局。
司端杨·2025-01-28 02:01

学习ESP32系列一个超级有用的网站

ESP32ArduinoIDEESP32ArduinoIDE2.0VSCode和PlatformIOESP32引脚分布ESP32输入输出ESP32PWMESP32模拟输入ESP32中断定时器ESP32深度睡眠协议ESP32Web服务器ESP32LoRaESP32BLEESP32BLE
LS_learner·2025-01-25 12:57

【Lora微调】提高模型效率的创新方法

为了在保持模型性能的同时减少计算开销，**Lora（Low-RankAdaptation）**应运而生。
@fishv·2025-01-25 07:19

stable diffusion webui电商基础模型

电商必备的10款StablediffusionWebUI模型-知乎一、WFProduct电商场景这是一个专门为电商摄影场景训练的lora模型，可以生成各种极具设计感的场景图，效果逼真，无论是电商、海报、
Kun Li·2025-01-25 05:06

stable diffusion 模型和lora融合

炜哥的AI学习笔记——SuperMerger插件学习-哔哩哔哩接下来学习的插件名字叫做SuperMerger，它的作用正如其名，可以融合大模型或者LoRA，一般来说会结合之前的插件LoRABlockWeight
Kun Li·2025-01-25 05:06

LLaMA Pro是什么 相比于lora full freeze有什么区别 怎么使用

1.LLaMAPro是什么？LLaMAPro是一种基于LLaMA架构改进的大型语言模型（LLM），旨在解决大模型微调中的知识遗忘问题。它通过在原有模型的基础上扩展新的模块（如Transformer块），并在微调时仅训练这些新增模块，从而在适应新任务的同时保留预训练模型的通用知识。LLaMAPro在代码理解、数学推理和语言理解等任务上表现出色，特别适合需要持续学习和多任务处理的场景。2.LLaMAP
Ven%·2025-01-24 16:58

增强大型语言模型（LLM）可访问性：深入探究在单块AMD GPU上通过QLoRA微调Llama 2的过程

EnhancingLLMAccessibility:ADeepDiveintoQLoRAThroughFine-tuningLlama2onasingleAMDGPU—ROCmBlogs基于之前的博客《
109702008·2025-01-22 11:35

VYOS容器运行DaloRadius实现AAA认证登录

整体架构freeradius提供AAA认证服务mysql提供用户认证授权信息存储daloradius提供Web界面管理用户认证授权信息mysql添加镜像addcontainerimagemysql:5.6
GTaylor·2025-01-21 09:54

LLaMA-Factory 基于 LoRA 的 SFT 指令微调及相关功能梳理

1.数据准备微调数据的格式为Alpaca或ShareGPT格式，需进行以下步骤：自定义数据集转换：将原始数据集转换成指定格式（JSON格式）。示例数据：{"instruction":"写一个商品文案","input":"类型#裤*版型#宽松","output":"宽松的阔腿裤吸引了大量明星的喜爱，设计感十足。"}数据注册：修改data/dataset_info.json文件，将数据集注册到系统中。
Ambition_LAO·2025-01-21 07:42

OpenBayes 一周速览丨ShowUI专注GUI自动化，可解析屏幕截图和用户指令；U-MATH数据集上线

公共资源速递5个数据集：U-MATH数学推理数据集AlMedicalChatbot医学对话数据集Tecnalia电子设备废物高光谱数据集WaterlooExploration大规模图像质量评估数据库WasteClassification
·2025-01-20 23:52

Flex.1-Alpha - 可进行适当微调的新修改通量模型。

“Flex.1以FLUX.1-schnell-training-adapter开始，目的是在FLUX.1-schnell上训练LoRA。
吴脑的键客·2025-01-20 15:05

【大模型LoRa微调】Qwen2.5 Coder 指令微调【代码已开源】

本文需要用到的代码已经放在GitHub的仓库啦，别忘了给仓库点个小心心~~~https://github.com/LFF8888/FF-Studio-Resources第001个文件哦~一、引言：大语言模型与指令微调1.1大语言模型发展简史随着深度学习的飞速发展，特别是Transformer架构在自然语言处理（NLP）领域的成功，大语言模型（LLM,LargeLanguageModel）成为近年来
FF-Studio·2025-01-18 07:31

android自定义控件不显示,解决Android Studio Design界面不显示layout控件的问题

中的Theme前添加Base@color/colorPrimary@color/colorPrimaryDark@color/colorAccent补充知识：AndroidStudioXML文件之style
叶江流·2025-01-18 05:46

免费像素画绘制软件 | Pixelorama v1.0.3

Pixelorama是一款开源像素艺术多工具软件，旨在为用户提供一个强大且易于使用的平台来创作各种像素艺术作品，包括精灵、瓷砖和动画。
dntktop·2024-09-16 00:47

昇思MindSpore AI框架MindFormers实践3:ChatGLM3-6B对一段文字进行提取

mindspore-CSDN博客使用了MindSpore2.2和MindFormers1.0支持的模型：KeyError:"modelmustbeinodict_keys(['gpt2','gpt2_lora
skywalk8163·2024-09-15 11:26

一文看懂物联网通信技术

近距离通信技术包括Wi-Fi、蓝牙、ZigBee等，远距离通信技术以2G/3G/4G/5G、LPWAN（NB-IoT、eMTC、LoRa等）为代
SEEKSEE AIoT·2024-09-14 17:52

开源模型应用落地-qwen2-7b-instruct-LoRA微调-unsloth（让微调起飞）-单机单卡-V100（十七）

一、前言本篇文章将在v100单卡服务器上，使用unsloth去高效微调QWen2系列模型，通过阅读本文，您将能够更好地掌握这些关键技术，理解其中的关键技术要点，并应用于自己的项目中。使用unsloth能够使模型的微调速度提高2-5倍。在处理大规模数据或对时间要求较高的场景下，这可以大大节省微调所需的时间，提高开发效率。其次，可减少80%的内存使用。这对于资源有限的环境或者需要同时运行多个微调任务的
开源技术探险家·2024-09-14 13:28

大模型微调 - 基于预训练大语言模型的对话生成任务 训练代码

importtorchfromdatasetsimportDatasetfrommodelscopeimportAutoTokenizer,AutoModelForCausalLMfrompeftimportLoraConfig
西笑生·2024-09-14 05:00

QLoRa使用教程

一、定义定义案例1二、实现定义QLoRa:量化+LoRa.网址：https://huggingface.co/docs/peft/main/en/developer_guides/quantization
云帆@·2024-09-13 03:12

大模型基础知识-LoRA与QLoRA

介绍LoRA与QLoRA1.LoRA(Low-RankAdaptation)LoRA是一种用于大规模语言模型(LLM)的参数高效微调技术，旨在减少微调大模型所需的计算资源和存储空间。
破壁者-燕·2024-09-13 03:12

通感算一体化：（一）初步阐明定义和挑战

下面将分别介绍微波波段的几种代表性技术：WiFi、mmWave、UWB、Bluetooth、RFID、（NFC、ZigBee、LoRa、NB-IoT）这几种常见技术。
炸膛坦客·2024-09-11 23:40

深度学习速通系列:LoRA微调是什么

LoRA微调（Low-RankAdaptation）是一种用于大型预训练语言模型（LLM）的高效微调技术。
Ven%·2024-09-11 11:47

大模型LLM面试常见算法题-包括Attention和Transformer常见面试题

介绍LoRA与QLoRARAG和微调的区别是什么？哪些因素会导致LLM的偏见？什么是思维链（CoT）提示？Tokenizer的实现方法及原理解释一下大模型的涌现能力？
剑圣土豆·2024-09-10 15:57

[Lora][微调] Qwen-VL/Qwen-VL-chat微调问题

@[Lora][微调]Qwen-VL/Qwen-VL-chat微调问题关于Qwen-VL在lora过程中出现的问题总结。
翔迅AI·2024-09-10 03:07

2023-07-12

模型：xxmix9realistic_v30LoRA：,,,室内、起居室、咖啡杯等构建环境氛围效果图1(SFW:2),HDR,UHD,8K,bestquality,masterpiece,Highlydetailed
大法师的输出·2024-09-09 16:22

【神经网络系列（高级）】神经网络Grokking现象的电路效率公式——揭秘学习飞跃的秘密【通俗理解】

2309.02390参考链接：[1]https://x.com/VikrantVarma_/status/1699823229307699305[2]https://pair.withgoogle.com/explorables
神经美学_茂森·2024-09-09 14:54

记录-小程序720°VR（跳转H5页面实现）

全景浏览提前准备1拍照支架/照片合成软件（KolorAutopanoGiga4.0）或者全景相机2pannellum（pannellum是一个轻量级、免费和开源的Web全景查看器。
久违的小技巧·2024-09-08 04:05

大模型推理框架 RTP-LLM 架构解析

RTP-LLM与当前广泛使用的多种主流模型兼容，使用高性能的CUDAkernel,包括PagedAttention、FlashAttention、FlashDecoding等，支持多模态、LoRA、P-Tuning
阿里技术·2024-09-07 23:32

flux 文生图大模型 自有数据集 lora微调训练案例

参考：https://github.com/ostris/ai-toolkit目前Flux出现了3个训练工具SimpleTunerhttps://github.com/bghira/SimpleTunerX-LABS的https://github.com/XLabs-AI/x-fluxai-toolkithttps://github.com/ostris/ai-toolkit待支持：https:/
loong_XL·2024-09-05 20:47

【WPF动画】

ColorAni
TIF星空·2024-09-01 17:51

Flutter Theme Tailor Annotation使用指南：自定义主题注解

FlutterThemeTailorAnnotation使用指南：自定义主题注解简介theme_tailor_annotation是一个Dart注解包，它与ThemeTailor代码生成器配合使用，用于帮助开发者自定义
明似水·2024-09-01 01:43

Flora女王的感恩日记

2019.07.31Flora女王的感恩日记感恩我的宇宙哥哥每天都把我照顾的那么好，谢谢，谢谢，谢谢！感恩今天去医院做身体检查医院里的人不是很多我可以顺利完成，谢谢，谢谢，谢谢！
Flora女王·2024-08-31 11:46

开源模型应用落地-qwen2-7b-instruct-LoRA微调-ms-swift-单机单卡-V100（十二）

二、术语介绍2.1.LoRA微调LoRA(Low-RankAdaptation)用于微调大型语言模型(LLM)。
开源技术探险家·2024-08-31 10:41

2023-07-02

大模型：breakdomainrealistic_R2333LoRA：,效果图(SFW:2),HDR,UHD,8K,bestquality,masterpiece,Highlydetailed,Studiolighting
大法师的输出·2024-08-29 07:05

学习 Rust：I/O Ring

Areyoudisappointedwithselect,poll,epollorAIO?
老父亲的能量嘎嘣脆·2024-08-28 22:27

2022-2023学年英语周报九年级第10期答案及试题（初三第十期）

阅读理解：CastleRock,Colorado,isintheFrontRange进入查看：2022-2023学年英语周报九年级第10期答案及试题（初三第十期）CastleRock,Colorado,
gaokaos·2024-08-28 15:11

数据科学生命周期的7个步骤–在业务中应用AI

数据科学生命周期的7个步骤–在业务中应用AI1.问题定义（BusinessUnderstanding）2.数据收集（DataCollection）3.数据准备（DataPreparation）4.数据探索（ExploratoryDataAnalysis
听忆.·2024-08-28 11:10

NB-IoT，LoRA，WIFI，蓝牙，Zigbee，MQTT，CoAP之间的关系

概览（从上往下）应用层协议：MQTT、CoAP...网络层、传输协议：IPv4、IPv6、TCP、6LoWPAN、RPL物理层、数据链路层协议：近距离通信：Dash、NFC、Bluetooth、RFID、IRdA...远距离蜂窝通信：GSM(2G)、WCDMA(3G)、LTE(3.9G)、TD-LTE(4G)、NB-IOT...远距离非蜂窝通信：ZigBee、WiFi、Z-Wave、wHART、L
hanchufeng2020·2024-08-28 10:33

大模型18：微调大模型方法PEFT(LoRA等) — 训练 “ChatGLM2“ 项目

微调大模型的方法之一是PEFT（Parameter-EfficientFine-Tuning），其中包括LoRA（Low-RankAdaptation）等技术。
bluewelkin·2024-08-27 01:38
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他