adaptation

大模型基础知识-LoRA与QLoRA

介绍LoRA与QLoRA1.LoRA(Low-RankAdaptation)LoRA是一种用于大规模语言模型(LLM)的参数高效微调技术，旨在减少微调大模型所需的计算资源和存储空间。

破壁者-燕·2024-09-13 03:12

深度学习速通系列:LoRA微调是什么

LoRA微调（Low-RankAdaptation）是一种用于大型预训练语言模型（LLM）的高效微调技术。

Ven%·2024-09-11 11:47

SwiftSiriWaveformView 使用教程

SwiftSiriWaveformView使用教程SwiftSiriWaveformViewAUIViewsubclassthatreproducesthewaveformeffectseeninSirioniOS7+.ItisaSwiftadaptationoftheamazingSCSiriWaveformViewbyStefanCeriu

马安柯Lorelei·2024-09-07 14:57

旋转目标检测：mmrotate仓库中 “主要模型” 及其 “配置文件” 的列表

mmrotate目录:mmrotate仓库中的主要模型和配置BackgroundandMotivation背景与动机MethodsOverview方法概述1.CFACFA:Convex-hullFeatureAdaptationforOrientedandDenselyPackedObjectDetectionCFA

沉浸式AI·2024-09-05 10:43

TPAMI 2024 | 无需多源证据的无监督领域自适应

EvidentialMulti-Source-FreeUnsupervisedDomainAdaptation题目：无需多源证据的无监督领域自适应作者：JiangboPei;AidongMen;YangLiu

小白学视觉·2024-09-05 08:53

开源模型应用落地-qwen2-7b-instruct-LoRA微调-ms-swift-单机单卡-V100（十二）

二、术语介绍2.1.LoRA微调LoRA(Low-RankAdaptation)用于微调大型语言模型(LLM)。

开源技术探险家·2024-08-31 10:41

大模型18：微调大模型方法PEFT(LoRA等) — 训练 “ChatGLM2“ 项目

微调大模型的方法之一是PEFT（Parameter-EfficientFine-Tuning），其中包括LoRA（Low-RankAdaptation）等技术。

bluewelkin·2024-08-27 01:38

CVPR2024部分研究方向文章梳理（持续更新中）

DistillationStrikesBackforVisionTransformerTrainingonLong-TailedDatasets.全文地址：DeiT-LT\(rangwani-harsh.github.io\)领域自适应（DomainAdaptation

路漫漫独求索·2024-08-26 14:12

Simple and Scalable Strategies to Continually Pre-train Large Language Models

SimpleandScalableStrategiestoContinuallyPre-trainLargeLanguageModels相关链接：arxiv关键字：LargeLanguageModels、Pre-training、ContinualLearning、DistributionShift、Adaptation

liferecords·2024-03-14 20:18

大模型训练——PEFT与LORA介绍

大模型训练中的PEFT（Parameter-EfficientFine-Tuning）与LoRA（Low-RankAdaptation）是两种重要的技术，它们在大型预训练模型的应用中发挥着重要作用。

MarkHD·2024-03-03 10:30

（2024，自级联扩散，关键点引导的噪声重新调度，时间感知特征上采样器）进行廉价的扩展：用于更高分辨率适应的自级联扩散模型

MakeaCheapScaling:ASelf-CascadeDiffusionModelforHigher-ResolutionAdaptation公和众和号：EDPJ（进Q交流群：922230617

EDPJ·2024-02-19 22:02

A day in the life

TodayismainlyaboutDeixis.Firsttheteachergiveusareviewofwhatwehavelearntbefore.顺应论adaptationthebasicideaaboutadaptationisthatlanguageuseisaprocessofmakingchoices.theprocesshappensbetweenthelinguiticspe

月夜电波·2024-02-12 23:32

iOS9网络适配_ATS：改用更安全的HTTPS

iOS9AdaptationTipsiOS9适配系列教程【中文在页面下方】（截至2015年9月3日共有6篇，后续还将持续更新。

donghu9874·2024-02-05 09:38

论文解读：Class-Aware Patch Embedding Adaptation for Few-Shot Image Classification(2023 CVPR)

摘要“一张图片胜过千言万语”，远远超出了单纯的分类。与此同时，如果独立观察，图像的许多斑块可能与分类完全无关。这可能会大大降低大量的few-shot学习算法的效率，这些算法的数据有限，并且高度依赖于图像patch的比较。为了解决这个问题，我们提出了一种类感知补丁嵌入自适应(CPEA)方法来学习图像补丁的“类感知嵌入”。CPEA的关键思想是将补丁嵌入与类感知嵌入相结合，使它们与类相关。此外，我们定义

十有久诚·2024-02-04 01:19

【AI数字人-论文】Geneface论文

文章目录前言pipelineaudio-to-motionMotiondomainadaptation可视化Motion-to-imageHead-NeRFTorso-NeRF结果对比前言语音驱动的说话人视频合成旨在根据一段输入的语音

马鹤宁·2024-02-03 11:36

神经调节的Hebbian学习用于完全测试时自适应

摘要完全测试时自适应（Fullytest-timeadaptation）是指在推理阶段对输入样本进行序列分析，从而对网络模型进行自适应，以解决深度神经网络的跨域性能退化问题。

Scabbards_·2024-02-03 04:45

用于医学分割的实时Test-time adaption

机构：约翰霍普金斯论文：https://arxiv.org/abs/2203.05574代码：https://github.com/jeya-maria-jose/On-The-Fly-Adaptation

Scabbards_·2024-02-03 04:45

【webrtc】m98 ： vs2019 直接构建webrtc及unitest工程 1

/video/adaptation/overuse_frame_detector.cc:551:7</

等风来不如迎风去·2024-01-31 14:34

大模型微调LoRA训练与原理

LoRA的全称是LOW-RANK-ADAPTATION。是一种实现迁移学习的技术手段。2.矩阵的秩？秩是一个向量空间的基向量的个数。

谦虚且进步·2024-01-31 10:28

datawhale 大模型学习第六章-大模型之Adaptation

一、为什么需要Adaptation1.1简介从语言模型的训练方式来说，例如GPT-3，训练语料通常是海量的，各种领域的，不针对任何特定任务的文本信息。

fan_fan_feng·2024-01-29 18:25

大模型理论基础初步学习笔记——第七章大模型之Adaptation

大模型理论基础初步学习笔记——第七章大模型之Adaptation第7章大模型之Adaptation7.1引言7.1.1为什么需要Adaptation?

panda_dbdx·2024-01-26 17:28

微信小程序图片自适应高度宽度完美适配原生或者uniapp

---1.新建一个组件bl-adaptation-img.vue2.在main.js中导入//自适应图片图片高度宽度100%importblAdaptationImgfrom'

执波仔丶·2024-01-26 07:31

ICCV 2021 广义源无关领域自适应

引言摘要项目概述数据集准备训练过程检查点领域分类器致谢论文其他引言近年来，计算机视觉领域的研究一直在不断推进，为了更好地解决领域自适应的问题，ICCV2021发表了一篇名为《GeneralizedSource-freeDomainAdaptation

OverlordDuke·2024-01-26 06:38

Datawhale 大模型基础 Task6 模型之Adaptation篇笔记

通用大模型不能适用于全部领域，并且有着时效性等问题，因此需要进行适应来改善其性能。适应主要分为：预训练模型（主干部分的训练，最消耗算力）；获取特定领域的数据集；找一些参数用于适配；定义损失函数来作为适配的标准；进行问题的优化表示。适应的方法主要有：探测、微调（可以提升零样本性能、改善泛化能力、获取新任务的能力）。轻量微调和微调的思路大题相似，分为轻量级微调的变体、提示词微调、前缀微调、适配器微调。

AIzealot无·2024-01-26 06:40

解释LoRA参数

目录LoRA参数含义LoRA在深度学习中的作用示例代码中的LoRA应用结论LoRA参数含义LoRA(lora_r):LoRA代表"Low-RankAdaptation"，是一种模型参数化技术，用于在不显著增加参数数量的情况下调整预训练模型

samoyan·2024-01-24 23:23

大模型理论基础初步学习笔记——第二章大模型的能力

第二章大模型的能力2.1概述我们的研究对象：2.1.1基准测试：2.1.2结果：2.1.3结论：2.1.4总结（太长不看版）：2.2语言模型的适应性：从语言模型到任务模型的转化2.2.1任务:2.2.2适应（Adaptation

panda_dbdx·2024-01-24 16:49

第十一章：大模型之Adaptation

参考链接：https://github.com/datawhalechina/so-large-lm/tree/main1引言为什么需要Adaptation?

LucyFang2020·2024-01-24 08:45

大模型学习笔记07——大模型之Adaptation

大模型学习笔记07——大模型之Adaptation使用语言模型在学习了上下文后，仅通过给出的提示就能够执行一些任务并不是所有的下游任务都可以通过提示方法完成，如：自然语言推理（NLI）问答（QA）网络表格转文本解析电子健康记录

等风来随风飘·2024-01-23 03:29

SAP C4C的URL Mashup无法添加到embedded component里去

测试：在adaptation模式下，headers区域下的Mashup列表里选择urlMashup：在properties的Apperance里只有Link一个选项，且无法更改：如果试图将urlMashup

JerryWang_汪子熙·2024-01-20 13:30

TS封装格式

es层：音视频数据pes层：在es层上添加时间戳、音视频流标识等信息ts层：在pes层的基础上添加数据流的识别和传输必须的信息TS层TS层由TSHeader、adaptation组成，内容是通过PID值来标识的

方竞·2024-01-20 11:10

【智能优化算法】协方差矩阵自适应进化算法CMAES附matlab代码

其中，协方差矩阵自适应进化算法(CovarianceMatrixAdaptationEvolutionStrategy，简称CMA-ES)是一种高效的优化算法。本文将详细介绍CMA-ES算法

前程算法matlab屋·2024-01-18 02:45

协方差矩阵自适应调整的进化策略(CMA-ES)

关于CMA-ES，其中CMA为协方差矩阵自适应(CovarianceMatrixAdaptation)，而进化策略（Evolutionstrategies,ES）是一种无梯度随机优化算法。

努力发光的程序媛·2024-01-17 05:49

Unsupervised Domain Adaptation by Backpropagation阅读笔记

AboutthispaperTitle:UnsupervisedDomainAdaptationbyBackpropagationAuthors:YaroslavGanin,VictorLempitskyTopic

zhaoxin94·2024-01-16 16:44

domain adapation

假设测试资料和训练资料分布不一样，训练为黑白数字，测试为彩色数字时，识别率很低称之为DomainshiftDomainadaptation:可以看做transfer的一种输出分布也有可能不一样targetdomain

闪闪发亮的小星星·2024-01-13 06:46

DomainForensics: Exposing Face Forgery across Domains via Bi-directional Adaptation

一、研究背景1.新的深度伪造手段层出不穷且生成的图片与现有数据集差距极大。2.现有数据集上性能良好的检测技术在面对新的伪造手段时会出现性能骤降现象。3.许多工作试图在数据层面上寻找各种方法共有的伪造痕迹以提升检测技术的泛化性能。4.数据增强、频域特征提取、零样本学习、少样本学习都有各自的缺点。二、研究动机1.zero-shot方法难以利用新增样本，few-shot方法需要对样本进行注释，无监督域自

二苏旧局吖·2024-01-12 09:26

【数字人】8、EAT | 为数字人引入情感表情（ICCV2023）

论文：EfficientEmotionalAdaptationforAudio-DrivenTalking-HeadGeneration代码：https://yuangan.github.io/eat/

呆呆的猫·2024-01-12 01:41

LORA的基本原理

一、什么是LoRALoRA通常是指低秩分解（Low-RankDecomposition）算法，是一种低资源微调大模型方法，论文如下:LoRA:Low-RankAdaptationofLargeLanguageModels

TFATS·2024-01-11 19:56

语义分割无监督、半监督学习

InstanceAdaptiveSelf-TrainingforUnsupervisedDomainAdaptation（ECCV2020）https://arxiv.org/abs/2008.12197

Valar_Morghulis·2024-01-09 14:36

DA(语义分割3)Bidirectional Learning for Domain Adaptation of Semantic Segmentation

BidirectionalLearningforDomainAdaptationofSemanticSegmentation来源：CVPR2019作者：YunshengLi，LuYuan，NunoVasconcelos

西瓜_f1c9·2024-01-08 14:44

文献阅读 - JADE：具有可选外部存档的自适应差分进化

II.BASICOPERATIONSOFDEIII.ADAPTIVEDEALGORITHMSA.DESAPB.FADEC.SaDED.jDE研究内容、成果IV.JADEA.DE/Current-to-pbestB.ParameterAdaptationC.ExplanationsoftheParameterAdaptat

太极生两鱼·2024-01-08 07:57

文献阅读：Sparse Low-rank Adaptation of Pre-trained Language Models

文献阅读：SparseLow-rankAdaptationofPre-trainedLanguageModels1.文章简介2.具体方法介绍1.SoRA具体结构2.阈值选取考察3.实验&结论1.基础实验

Espresso Macchiato·2024-01-08 06:12

（2024，少样本微调自适应，泛化误差界限，减小泛化误差的措施）多模态基础模型的少样本自适应：综述

Few-shotAdaptationofMulti-modalFoundationModels:ASurvey公和众和号：EDPJ（添加VX：CV_EDPJ或直接进Q交流群：922230617获取资料）

EDPJ·2024-01-08 05:13

【迁移学习】月度总结

就会造成负迁移因此作者提出了DomainSeparationNetworks2、DeepReconstruction-ClassificationNetworksforUnsupervisedDomainAdaptation

一个很菜的小猪·2024-01-05 14:54

【迁移学习论文六】Learning Semantic Representations for Unsupervised Domain Adaptation论文原理及复现工作

LearningSemanticRepresentationsforUnsupervisedDomainAdaptation学习无监督域自适应的语义表示相关会议AConferenceonComputerVisionandPatternRecognition

一个很菜的小猪·2024-01-05 14:24

【心理学与AI】Sarwary关于运动适应的研究

运动适应（motoradaptation）：动态变化的环境使我们的运动发生改变的现象。对于变化环境的适应会导致与旧行为相冲突的新行为的产生，这种行为间的冲突会降低甚至阻碍我们对运动的学习。

YuikoAo·2024-01-02 09:49

论文索引记录1

StyleGAN-NADA:CLIP-GuidedDomainAdaptationofImageGeneratorsTraininggeneratorswithlimiteddataTransferlearningInthetransfer-learningscenario

Miao kristoff·2024-01-01 12:39

MAML 源代码解释说明 (一)

元学习系列文章optimizationbasedmeta-learning《Model-AgnosticMeta-LearningforFastAdaptationofDeepNetworks》论文翻译笔记元学习方向

田小成plus·2023-12-31 23:30

文献阅读：LoRA: Low-Rank Adaptation of Large Language Models

文献阅读：LoRA:Low-RankAdaptationofLargeLanguageModels1.文章简介2.方法介绍3.实验&结论1.基础实验1.Bert系列模型2.GPT系列模型2.消解实验1.

Espresso Macchiato·2023-12-31 20:29

大模型LLM的微调技术：LoRA

0引言LoRA(Low-RankAdaptation)出自2021年的论文“LoRA:Low-RankAdaptationofLargeLanguageModels”LoRA技术冻结预训练模型的权重，并在每个

智慧医疗探索者·2023-12-31 01:46

【SAM系列】SAMIHS: Adaptation of Segment Anything Model for Intracranial Hemorrhage Segmentation

论文链接：https://arxiv.org/abs/2311.08190核心：finetuneSAM，imageencoder加上adapter，promptencoder和maskdecoder完全finetune；增加边界监督

Nastu_Ho-小何同学·2023-12-28 12:14

推荐频道