LoRa 第2页

增强大型语言模型（LLM）可访问性：深入探究在单块AMD GPU上通过QLoRA微调Llama 2的过程

EnhancingLLMAccessibility:ADeepDiveintoQLoRAThroughFine-tuningLlama2onasingleAMDGPU—ROCmBlogs基于之前的博客《

109702008·2025-01-22 11:35

VYOS容器运行DaloRadius实现AAA认证登录

整体架构freeradius提供AAA认证服务mysql提供用户认证授权信息存储daloradius提供Web界面管理用户认证授权信息mysql添加镜像addcontainerimagemysql:5.6

GTaylor·2025-01-21 09:54

LLaMA-Factory 基于 LoRA 的 SFT 指令微调及相关功能梳理

1.数据准备微调数据的格式为Alpaca或ShareGPT格式，需进行以下步骤：自定义数据集转换：将原始数据集转换成指定格式（JSON格式）。示例数据：{"instruction":"写一个商品文案","input":"类型#裤*版型#宽松","output":"宽松的阔腿裤吸引了大量明星的喜爱，设计感十足。"}数据注册：修改data/dataset_info.json文件，将数据集注册到系统中。

Ambition_LAO·2025-01-21 07:42

OpenBayes 一周速览丨ShowUI专注GUI自动化，可解析屏幕截图和用户指令；U-MATH数据集上线

公共资源速递5个数据集：U-MATH数学推理数据集AlMedicalChatbot医学对话数据集Tecnalia电子设备废物高光谱数据集WaterlooExploration大规模图像质量评估数据库WasteClassification

·2025-01-20 23:52

Flex.1-Alpha - 可进行适当微调的新修改通量模型。

“Flex.1以FLUX.1-schnell-training-adapter开始，目的是在FLUX.1-schnell上训练LoRA。

吴脑的键客·2025-01-20 15:05

【大模型LoRa微调】Qwen2.5 Coder 指令微调【代码已开源】

本文需要用到的代码已经放在GitHub的仓库啦，别忘了给仓库点个小心心~~~https://github.com/LFF8888/FF-Studio-Resources第001个文件哦~一、引言：大语言模型与指令微调1.1大语言模型发展简史随着深度学习的飞速发展，特别是Transformer架构在自然语言处理（NLP）领域的成功，大语言模型（LLM,LargeLanguageModel）成为近年来

FF-Studio·2025-01-18 07:31

android自定义控件不显示,解决Android Studio Design界面不显示layout控件的问题

中的Theme前添加Base@color/colorPrimary@color/colorPrimaryDark@color/colorAccent补充知识：AndroidStudioXML文件之style

叶江流·2025-01-18 05:46

免费像素画绘制软件 | Pixelorama v1.0.3

Pixelorama是一款开源像素艺术多工具软件，旨在为用户提供一个强大且易于使用的平台来创作各种像素艺术作品，包括精灵、瓷砖和动画。

dntktop·2024-09-16 00:47

昇思MindSpore AI框架MindFormers实践3:ChatGLM3-6B对一段文字进行提取

mindspore-CSDN博客使用了MindSpore2.2和MindFormers1.0支持的模型：KeyError:"modelmustbeinodict_keys(['gpt2','gpt2_lora

skywalk8163·2024-09-15 11:26

一文看懂物联网通信技术

近距离通信技术包括Wi-Fi、蓝牙、ZigBee等，远距离通信技术以2G/3G/4G/5G、LPWAN（NB-IoT、eMTC、LoRa等）为代

SEEKSEE AIoT·2024-09-14 17:52

开源模型应用落地-qwen2-7b-instruct-LoRA微调-unsloth（让微调起飞）-单机单卡-V100（十七）

一、前言本篇文章将在v100单卡服务器上，使用unsloth去高效微调QWen2系列模型，通过阅读本文，您将能够更好地掌握这些关键技术，理解其中的关键技术要点，并应用于自己的项目中。使用unsloth能够使模型的微调速度提高2-5倍。在处理大规模数据或对时间要求较高的场景下，这可以大大节省微调所需的时间，提高开发效率。其次，可减少80%的内存使用。这对于资源有限的环境或者需要同时运行多个微调任务的

开源技术探险家·2024-09-14 13:28

大模型微调 - 基于预训练大语言模型的对话生成任务训练代码

importtorchfromdatasetsimportDatasetfrommodelscopeimportAutoTokenizer,AutoModelForCausalLMfrompeftimportLoraConfig

西笑生·2024-09-14 05:00

QLoRa使用教程

一、定义定义案例1二、实现定义QLoRa:量化+LoRa.网址：https://huggingface.co/docs/peft/main/en/developer_guides/quantization

云帆@·2024-09-13 03:12

大模型基础知识-LoRA与QLoRA

介绍LoRA与QLoRA1.LoRA(Low-RankAdaptation)LoRA是一种用于大规模语言模型(LLM)的参数高效微调技术，旨在减少微调大模型所需的计算资源和存储空间。

破壁者-燕·2024-09-13 03:12

通感算一体化：（一）初步阐明定义和挑战

下面将分别介绍微波波段的几种代表性技术：WiFi、mmWave、UWB、Bluetooth、RFID、（NFC、ZigBee、LoRa、NB-IoT）这几种常见技术。

炸膛坦客·2024-09-11 23:40

深度学习速通系列:LoRA微调是什么

LoRA微调（Low-RankAdaptation）是一种用于大型预训练语言模型（LLM）的高效微调技术。

Ven%·2024-09-11 11:47

大模型LLM面试常见算法题-包括Attention和Transformer常见面试题

介绍LoRA与QLoRARAG和微调的区别是什么？哪些因素会导致LLM的偏见？什么是思维链（CoT）提示？Tokenizer的实现方法及原理解释一下大模型的涌现能力？

剑圣土豆·2024-09-10 15:57

[Lora][微调] Qwen-VL/Qwen-VL-chat微调问题

@[Lora][微调]Qwen-VL/Qwen-VL-chat微调问题关于Qwen-VL在lora过程中出现的问题总结。

翔迅AI·2024-09-10 03:07

2023-07-12

模型：xxmix9realistic_v30LoRA：,,,室内、起居室、咖啡杯等构建环境氛围效果图1(SFW:2),HDR,UHD,8K,bestquality,masterpiece,Highlydetailed

大法师的输出·2024-09-09 16:22

【神经网络系列（高级）】神经网络Grokking现象的电路效率公式——揭秘学习飞跃的秘密【通俗理解】

2309.02390参考链接：[1]https://x.com/VikrantVarma_/status/1699823229307699305[2]https://pair.withgoogle.com/explorables

神经美学_茂森·2024-09-09 14:54

记录-小程序720°VR（跳转H5页面实现）

全景浏览提前准备1拍照支架/照片合成软件（KolorAutopanoGiga4.0）或者全景相机2pannellum（pannellum是一个轻量级、免费和开源的Web全景查看器。

久违的小技巧·2024-09-08 04:05

大模型推理框架 RTP-LLM 架构解析

RTP-LLM与当前广泛使用的多种主流模型兼容，使用高性能的CUDAkernel,包括PagedAttention、FlashAttention、FlashDecoding等，支持多模态、LoRA、P-Tuning

阿里技术·2024-09-07 23:32

flux 文生图大模型自有数据集 lora微调训练案例

参考：https://github.com/ostris/ai-toolkit目前Flux出现了3个训练工具SimpleTunerhttps://github.com/bghira/SimpleTunerX-LABS的https://github.com/XLabs-AI/x-fluxai-toolkithttps://github.com/ostris/ai-toolkit待支持：https:/

loong_XL·2024-09-05 20:47

【WPF动画】

ColorAni

TIF星空·2024-09-01 17:51

Flutter Theme Tailor Annotation使用指南：自定义主题注解

FlutterThemeTailorAnnotation使用指南：自定义主题注解简介theme_tailor_annotation是一个Dart注解包，它与ThemeTailor代码生成器配合使用，用于帮助开发者自定义

明似水·2024-09-01 01:43

Flora女王的感恩日记

2019.07.31Flora女王的感恩日记感恩我的宇宙哥哥每天都把我照顾的那么好，谢谢，谢谢，谢谢！感恩今天去医院做身体检查医院里的人不是很多我可以顺利完成，谢谢，谢谢，谢谢！

Flora女王·2024-08-31 11:46

开源模型应用落地-qwen2-7b-instruct-LoRA微调-ms-swift-单机单卡-V100（十二）

二、术语介绍2.1.LoRA微调LoRA(Low-RankAdaptation)用于微调大型语言模型(LLM)。

开源技术探险家·2024-08-31 10:41

2023-07-02

大模型：breakdomainrealistic_R2333LoRA：,效果图(SFW:2),HDR,UHD,8K,bestquality,masterpiece,Highlydetailed,Studiolighting

大法师的输出·2024-08-29 07:05

学习 Rust：I/O Ring

Areyoudisappointedwithselect,poll,epollorAIO?

老父亲的能量嘎嘣脆·2024-08-28 22:27

2022-2023学年英语周报九年级第10期答案及试题（初三第十期）

阅读理解：CastleRock,Colorado,isintheFrontRange进入查看：2022-2023学年英语周报九年级第10期答案及试题（初三第十期）CastleRock,Colorado,

gaokaos·2024-08-28 15:11

数据科学生命周期的7个步骤–在业务中应用AI

数据科学生命周期的7个步骤–在业务中应用AI1.问题定义（BusinessUnderstanding）2.数据收集（DataCollection）3.数据准备（DataPreparation）4.数据探索（ExploratoryDataAnalysis

听忆.·2024-08-28 11:10

NB-IoT，LoRA，WIFI，蓝牙，Zigbee，MQTT，CoAP之间的关系

概览（从上往下）应用层协议：MQTT、CoAP...网络层、传输协议：IPv4、IPv6、TCP、6LoWPAN、RPL物理层、数据链路层协议：近距离通信：Dash、NFC、Bluetooth、RFID、IRdA...远距离蜂窝通信：GSM(2G)、WCDMA(3G)、LTE(3.9G)、TD-LTE(4G)、NB-IOT...远距离非蜂窝通信：ZigBee、WiFi、Z-Wave、wHART、L

hanchufeng2020·2024-08-28 10:33

大模型18：微调大模型方法PEFT(LoRA等) — 训练 “ChatGLM2“ 项目

微调大模型的方法之一是PEFT（Parameter-EfficientFine-Tuning），其中包括LoRA（Low-RankAdaptation）等技术。

bluewelkin·2024-08-27 01:38

大模型微调方法总结：LoRA、Adapter、Prefix-tuning、P-tuning、Prompt-tuning

本文将重点介绍五种不同的微调方法：LoRA、Adapter、Prefix-tuning、P-tuning和Prompt-tuning，并对它们进行总结。

百度_开发者中心·2024-08-26 19:14

大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）_adapter微调 p tuning

2022年11月30日，ChatGPT发布至今，国内外不断涌现出了不少大模型，呈现“百模大战”的景象，比如ChatGLM-6B、LLAMA、Alpaca等模型及在此模型基础上进一步开发的特定领域的大模型。今年3月15日，GPT-4发布后，也出现了一些多模态的大模型，比如百度的文心一言、讯飞星火认知大模型等等。要想训练一个针对特定领域的大模型，如果采用全量参数微调（FullParameterFutu

Cc不爱吃洋葱·2024-08-26 19:12

欺诈文本分类微调（六）：Lora单卡训练

关于微调方法，我们将使用比较普遍的Lora：在模型中注入低秩矩阵的方式。关于训练器，使用transformers库中提供的Trainer类。2.数据准备2.1加载数据导入要使用的基础包。impor

沉下心来学鲁班·2024-08-25 11:27

智慧路灯杆会用到哪些通信方式

有线通信可采用光纤、网线、电力线载波等方式，且一般以光纤和网线为主，电力线载波为备选；无线通信可采用NB-IoT、3G/4G/5G、LoRa、ZigBee等方式。

ianvtenr·2024-03-15 05:00

Mastering Convolutional Neural Networks: A Comprehensive Practical Exploration

ConvolutionalNeuralNetworks(CNNs)haverevolutionizedthefieldofcomputervisionandimagerecognition,enablinggroundbreakingadvancementsinvariousdomains.Thesepowerfuldeeplearningmodelshaveproventheirprowessi

Bio大恐龙·2024-03-10 21:51

oracle使用正则表达式REGEXP_SUBSTR提取XML里面的内容

XMLTYPE(XML),‘xphat’).getstringval()提取XML，长度过长存在报错ORA-06502:PL/SQL:数字或值错误:characterstringbuffertoosmallORA

qq_39255840·2024-03-03 14:34

大模型训练——PEFT与LORA介绍

大模型训练中的PEFT（Parameter-EfficientFine-Tuning）与LoRA（Low-RankAdaptation）是两种重要的技术，它们在大型预训练模型的应用中发挥着重要作用。

MarkHD·2024-03-03 10:30

各种商家 parlor

1.释义：abusinessthatprovidesastatedtypeofpersonalserviceorsellsastatedproduct店铺，商家2.搭配：aXparloranice-cream

无梦为安Ph·2024-02-22 20:28

论语学习（五十七）

“Inpainting“answeredConfucius，“Ornamentationandcolorareofsecondaryimportan

远洋船长·2024-02-20 05:49

寒假养成计划——Day4

andtherestofthecellsarecoloredwhite.Inoneoperation,youcanselectsomeblackcellanddoexactlyoneofthefollowing:colorallcellsinitsrowblack

BrilliantWilliam·2024-02-19 21:03

【AIGC】Stable Diffusion之模型微调工具

AIGCExplore·2024-02-19 12:56

书生浦语-模型微调

大语言模型微调指令微调的流程LoRA(旁路分支微调)Xtuner微调框架微调训练作业微调作业需要多训练几个epoch，这里训练了16个epoch

SatVision炼金士·2024-02-19 11:28

（新人免费）基于PAI-EAS对Stable diffusion进行LoRA模型微调|阿里云

基于PAI-EAS对Stablediffusion进行微调|阿里云前提条件已开通EAS并创建默认工作空间部署Kohya服务PAI-EAS控制台>部署服务>新建服务>服务名称自定义>部署方式：镜像部署AI-Web应用>镜像选择：PAI平台镜像、kohya_ss2.2（选择最高版本即可）>勾选阅读并同意PAI服务专用协议模型配置>oss挂载>选择OSS路径栏右侧的文件夹>新建Bucket创建Bucke

weixin_45597589·2024-02-14 22:34

无需部署，即开即用AI绘画

无需部署，即开即用AI绘画liblib优点：每月免费5次LoRA训练，每日登录赠送300算力（用于生图），有现成的模型和提示词可参考缺点：用户太多，生图需要排队LoRA训练左侧菜单栏点击训练我的LoRA