Prompt-tuning

CLIP-Adapter: Better Vision-Language Models with Feature Adapters

对比语言图像预训练（CLIP）虽然prompt-tuning用于textualinputs，但是建议CLIPAdapter在视觉或语言分支上使用功能适配器进行fine-tuneCLIPAdapter采用了一个额外的瓶颈层来学习新的特征
Tsukinousag·2024-09-01 19:22

大模型微调方法总结：LoRA、Adapter、Prefix-tuning、P-tuning、Prompt-tuning

本文将重点介绍五种不同的微调方法：LoRA、Adapter、Prefix-tuning、P-tuning和Prompt-tuning，并对它们进行总结。
百度_开发者中心·2024-08-26 19:14

Prompt-Tuning：大模型微调技术

随着深度学习技术的不断发展，大模型（如GPT、BERT等）在各种自然语言处理（NLP）任务中取得了显著的成功。然而，训练和部署大模型需要大量的计算资源和时间，这限制了其在一些资源有限场景中的应用。为了解决这个问题，研究人员提出了各种大模型微调技术，以减少模型的大小和计算复杂度，同时保持模型的性能。本文将重点介绍一些常见的大模型微调技术，包括Adapter-Tuning、Prefix-Tuning、
百度_开发者中心·2024-08-26 19:14

大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）_adapter微调 p tuning

2022年11月30日，ChatGPT发布至今，国内外不断涌现出了不少大模型，呈现“百模大战”的景象，比如ChatGLM-6B、LLAMA、Alpaca等模型及在此模型基础上进一步开发的特定领域的大模型。今年3月15日，GPT-4发布后，也出现了一些多模态的大模型，比如百度的文心一言、讯飞星火认知大模型等等。要想训练一个针对特定领域的大模型，如果采用全量参数微调（FullParameterFutu
Cc不爱吃洋葱·2024-08-26 19:12

Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification

1标题+作者KPT，将知识引入PromptVerbalizer处理文本分类任务，清华大学2摘要在低数据场景下，Prompt-tuning（PT）比fine-tuning（FT）效果好，PT将分类问题转为带掩码的语言模型问题
Navajo_c·2024-01-22 12:23

预训练范式提示学习方法一览（PET， Prefix-tuning，P-tuning，prompt tuning， PPT，SPoT， Prompt-tuning鲁棒性研究）

一：Pattern-ExploitingTraining（PET）它通过人工构建的模版与BERT的MLM模型结合，能够起到非常好的零样本、小样本乃至半监督学习效果，而且该思路比较优雅漂亮，因为它将预训练任务和下游任务统一起来了。然而，人工构建这样的模版有时候也是比较困难的，而且不同的模版效果差别也很大，如果能够通过少量样本来自动构建模版，也是非常有价值的。主要的思想是借助由自然语言构成的模版（英文
zhurui_xiaozhuzaizai·2024-01-19 14:04

用通俗易懂的方式讲解：大模型微调方法总结

大家好，今天给大家分享大模型微调方法：LoRA,Adapter,Prefix-tuning，P-tuning，Prompt-tuning。
机器学习社区·2024-01-14 03:03

024 年1月11日最热NLP大模型论文： A Novel Prompt-tuning Method: Incorporating Scenario-specific Concepts into...

颠覆性Prompt-tuning新法：引入场景特定概念，零样本文本分类效果大幅领先！引言：探索语言模型中的概念挖掘与级联校准在自然语言处理领域，语言模型的有效性往往取决于其对概念的理解和利用能力。
夕小瑶·2024-01-12 05:44

2024年1月11日最热AI论文Top5：开源界Stable Diffusion杀手、Prompt-tuning、零和游戏博弈

本文整理了今日发表在ArXiv上的AI论文中最热门的TOP5。以下内容由赛博马良-「AI论文解读达人」智能体生成，人工整理排版。「AI论文解读达人」智能体可提供每日最热论文推荐、AI论文解读等功能。如需查看其他热门论文，欢迎移步saibomaliang.com^_^TOP1PIXART-δ:FastandControllableImageGenerationwithLatentConsistenc
夕小瑶·2024-01-12 05:40

自然语言处理阅读第三弹

LLM微调三种方法Prefix-Tuning/Prompt-Tuning:在模型的输入或隐层添加k个额外可训练的前缀tokens(这些前缀是连续的伪tokens,不对应真实的tokens),只训练这些前缀参数
u013308709·2023-12-23 10:17

简述大模型微调方案：Prefix-Tuning Prompt-Tuning P-Tuning Lora QLora IA3 PEFT

PrefixTuning2021年斯坦福的研究人员在论文《Prefix-Tuning:OptimizingContinuousPromptsforGeneration》中提出了PrefixTuning方法。与Full-finetuning更新所有参数的方式不同，该方法是在输入token之前构造一段任务相关的virtualtokens作为Prefix，然后训练的时候只更新Prefix部分的参数，而T
O&REO·2023-12-15 13:26

HuggingFace学习笔记--Prompt-Tuning高效微调

1--Prompt-Tuning介绍Prompt-Tuning高效微调只会训练新增的Prompt的表示层，模型的其余参数全部固定；新增的Prompt内容可以分为HardPrompt和SoftPrompt
晓晓纳兰容若·2023-12-03 15:42

LIST: LITE SELF-TRAINING MAKES EFFICIENT FEW-SHOT LEARNERS

第一种是使用self-training，利用大量unlabeleddata进行prompt-tuning，以在few-shot设置下显著提高模型性能。
Tsukinousag·2023-11-03 00:37

Prompt-Tuning源码分析

Prompt-Tuning源码分析源码我们这里的代码解析以huggingfacepeft源码为主从模型类结构可以看到，PromptTuning只在输入层加入promptvirtualtokens，其他地方均没有变化
发呆的比目鱼·2023-10-26 07:11

大模型-DeltaTuning-增量式03：Prompt-Tuning（连续型）（P-tuning v1）【只在输入层加入可训练参数层】

一、前言Bert时代，我们常做预训练模型微调（Fine-tuning），即根据不同下游任务，引入各种辅助任务loss和垂直领域数据，将其添加到预训练模型中，以便让模型更加适配下游任务的方式。每个下游任务都存下整个预训练模型的副本，并且推理必须在单独的批次中执行。那么能不能将所有自然语言处理的任务转换为语言模型任务？就是所有任务都可以被统一建模，任务描述与任务输入视为语言模型的历史上下文，而输出则为
u013250861·2023-10-16 01:14

冻结LM微调Prompt: Prefix-Tuning & Prompt-Tuning & P-Tuning

这一章我们介绍在下游任务微调中固定LM参数，只微调Prompt的相关模型。这类模型的优势很直观就是微调的参数量小，能大幅降低LLM的微调参数量，是轻量级的微调替代品。和前两章微调LM和全部冻结的prompt模板相比，微调Prompt范式最大的区别就是prompt模板都是连续型（Embedding），而非和Token对应的离散型模板。核心在于我们并不关心prompt本身是否是自然语言，只关心prom
野生的狒狒·2023-10-16 01:42

Prompt-Tuning（一)

一、预训练语言模型的发展过程第一阶段的模型主要是基于自监督学习的训练目标，其中常见的目标包括掩码语言模型（MLM）和下一句预测（NSP）。这些模型采用了Transformer架构，并遵循了Pre-training和Fine-tuning的训练范式。通过预训练模型在大规模无标签数据上进行学习，可以使模型学习到丰富的语言知识和语境理解能力。第二阶段是在第一阶段的基础上，逐步扩大了模型的参数规模和训练语
余生有烟火·2023-10-07 04:27

ChatGPT 学习笔记 | 什么是 Prompt-tuning？

文章目录一、前言二、主要内容三、总结CSDN叶庭云：https://yetingyun.blog.csdn.net/一、前言Prompt-tuningisanefficient,low-costwayofadaptinganAIfoundationmodeltonewdownstreamtaskswithoutretrainingthemodelandupdatingitsweights.提示调优
叶庭云·2023-10-01 03:33

[论文学习]P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Task

PromptTuningCanBeComparabletoFine-tuningUniversallyAcrossScalesandTasksP-Tuningv2一种在不同规模和任务中都可与微调相媲美的Prompt-Tuning
simpsun·2023-09-26 23:44

提示学习 | Prompt-Tuning这么好用？

干货作者：十方来自：炼丹笔记使用prompts去调节预训练模型处理文本分类任务在小样本上已经取得了比直接finetuning模型更好的效果，prompt-tuning的核心思想就是嵌入一小段文本，比如对于文本分类任务
zenRRan·2023-09-05 05:05

大模型微调技术（Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA）

2022年11月30日，ChatGPT发布至今，国内外不断涌现出了不少大模型，呈现“百模大战”的景象，比如ChatGLM-6B、LLAMA、Alpaca等模型及在此模型基础上进一步开发的特定领域的大模型。今年3月15日，GPT-4发布后，也出现了一些多模态的大模型，比如百度的文心一言、讯飞星火认知大模型等等。要想训练一个针对特定领域的大模型，如果采用全量参数微调（FullParameterFutu
渣渣崔·2023-08-07 14:27

LLM微调 | Prefix-Tuning, Prompt-Tuning, P-tuning, P-tuning-v2

下面我只是分析讲解下这些方法的原理以及具体代码是怎么实现的，不对效果进行评价，毕竟不同任务不同数据集效果差别还是挺大的。文章目录0、hardprompt&softprompt区别1、Prefix-Tuning2、Prompt-Tuning3、P-tuning4、P-tuning-v25、来看看adapter，lora，prefix-tuing&p-tuning-v2的结构上的区别：0、hardpr
#苦行僧·2023-07-31 18:17

基于Hologres向量计算与大模型免费定制专属聊天机器人

使用大模型定制聊天机器人，除了训练大模型的方式外，还可以使用提示词微调（Prompt-tuning）的方法，在提问时提供特定行业的相关语料，结合大模型的阅读理解和信息整合能力，对该垂直行业的问题提供更贴切
阿里云大数据AI技术·2023-07-28 13:43

论文笔记--Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classific

论文笔记--KnowledgeablePrompt-tuning:IncorporatingKnowledgeintoPromptVerbalizerforTextClassification1.文章简介2.文章概括3文章重点技术3.1PromptTuning(KPT)3.2KnowledgeablePromptTuning(KPT)3.3VerbalizerRefinement3.3.1Freq
Isawany·2023-07-25 15:15

基于 Hologres 向量计算与大模型免费定制专属聊天机器人

使用大模型定制聊天机器人，除了训练大模型的方式外，还可以使用提示词微调（Prompt-tuning）的方法，在提问时提供特定行业的相关语料，结合大模型的阅读理解和信息整合能力，对该垂直行业的问题提供更贴切
阿里云云栖号·2023-07-20 04:00

LLM微调 | Prompt-tuning

简单水一下，不知我理解的prompt-tuning是不是这样。prompt-tuning其实就是给每个任务定义了自己的prompt，拼接到数据上作为输入，然后微调。
#苦行僧·2023-07-19 11:15

通俗易懂的LLM

目录前言一、Tuning1、Fine-Tuning（微调）2、Prompt-Tuning（提示微调）2.1In-contextlearning（上下文学习）2.2Pattern-Verbalizer-Pair
长竹Danko·2023-06-20 12:58

冻结LM微调Prompt: Prefix-tuning & Prompt-tuning & P-tuning

这一章我们介绍在下游任务微调中固定LM参数，只微调Prompt的相关模型。这类模型的优势很直观就是微调的参数量小，能大幅降低LLM的微调参数量，是轻量级的微调替代品。和前两章微调LM和全部冻结的prompt模板相比，微调Prompt范式最大的区别就是prompt模板都是连续型（Embedding），而非和Token对应的离散型模板。核心在于我们并不关心prompt本身是否是自然语言，只关心prom
AI生成曾小健·2023-06-16 15:45

LLM：Prompt-Tuning微调新范式

背景Pre-training+Fine-tuning模式：先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trainedLanguageModel，PLM）（e.g.GPT、EMLO、BERT），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。缺陷：在大多数的
-柚子皮-·2023-06-14 14:46

【NAACL 2022】IDPG: An Instance-Dependent Prompt Generation Method 略读

论文代码Overview根据prompt-tuning的方法，针对句子对任务，我们构建如下输入：针对单句子的任务，我们构建如下输入：EEE表示单词的embedding，SSS表示句子。
--JinJIKIKO--·2023-06-13 00:59

EMLP2021 ｜ Google大模型微调经典论文prompt tuning

ThePowerofScaleforParameter-EfficientPromptTuning论文地址：https://arxiv.org/abs/2104.08691代码：GitHub-google-research/prompt-tuning
HxShine·2023-06-07 10:23

prompt tuning

Prompt-Tuning——深度解读一种新的微调范式prompttuning整体解读连续pattern构建论文解读整理prompttuning整体解读1级：Prompt是一种对任务的指令；2级：Prompt
Q_fairy·2023-03-29 05:17

【NLP】Prompt-Tuning这么好用？

作者：十方使用prompts去调节预训练模型处理文本分类任务在小样本上已经取得了比直接finetuning模型更好的效果，prompt-tuning的核心思想就是嵌入一小段文本，比如对于文本分类任务，将其转变成填空任务
风度78·2023-02-17 18:02

基于Prompt-tuning实现情感分类

自去年来，prompt-tuning在NLP领域开始大放异彩，并随着刘鹏飞老师关于prompt的综述而广为人知。
沐神的小迷弟·2023-01-03 09:49

EMNLP 22：Bi-Directional Iterative Prompt-Tuning for Event Argument Extraction

总结文中的前向和后向的思想可以借鉴下。但总的来看，似乎是通过前向和后向来做的ensemble操作，虽然是在一个模型下，但同时前向和后向概率保证，可能能够使得预测更准确。任务形式：eventargumentextraction(EAE)————但文中做的具体是预测每个实体的下的argument的role以往的工作：classification-basedmethods；machinereadingc
QianTu&·2023-01-02 20:54

LIST: LITE SELF-TRAINING MAKES EFFICIENT FEW-SHOT LEARNERS

第一种是使用self-training，利用大量unlabeleddata进行prompt-tuning，以在few-shot设置下显著提高模型性能。
Tsukinousag1·2022-12-30 07:13

全新instruction调优，零样本性能超越小样本，谷歌1370亿参数新模型比GPT-3更强...

计算机视觉研究院专栏作者：Edison_G在NLP领域，pretrain-finetune和prompt-tuning技术能够提升GPT-3等大模型在各类任务上的性能，但这类大模型在零样本学习任务中的表现依然不突出
计算机视觉研究院·2022-12-11 12:46

零样本性能超越GPT-3！谷歌提出1370亿参数自回归语言模型

©作者|机器之心编辑部来源|机器之心在NLP领域，pretrain-finetune和prompt-tuning技术能够提升GPT-3等大模型在各类任务上的性能，但这类大模型在零样本学习任务中的表现依然不突出
PaperWeekly·2022-12-11 12:44

算法 KECP 被顶会 EMNLP 收录，极少训练数据就能实现机器阅读理解

近日，阿里云机器学习平台PAI与华东师范大学高明教授团队合作在自然语言处理顶级会议EMNLP2022上发表基于Prompt-Tuning的小样本机器阅读理解算法KECP（KnowledgeEnhancedContrastivePrompt-tuning
阿里云技术·2022-12-10 15:29

算法 KECP 被顶会 EMNLP 收录，极少训练数据就能实现机器阅读理解

近日，阿里云机器学习平台PAI与华东师范大学高明教授团队合作在自然语言处理顶级会议EMNLP2022上发表基于Prompt-Tuning的小样本机器阅读理解算法KECP（KnowledgeEnhancedContrastivePrompt-tuning
阿里云云栖号·2022-12-09 21:11

算法 KECP 被顶会 EMNLP 收录，极少训练数据就能实现机器阅读理解

作者：王嘉宁、汪诚愚、邱明辉、石秋慧、王洪彬、黄俊、高明近日，阿里云机器学习平台PAI与华东师范大学高明教授团队合作在自然语言处理顶级会议EMNLP2022上发表基于Prompt-Tuning的小样本机器阅读理解算法
阿里云大数据AI技术·2022-12-09 09:01

【自然语言处理】【实体匹配】PromptEM：用于低资源广义实体匹配的Prompt-tuning

PromptEM：用于低资源广义实体匹配的Prompt-tuning《PromptEM:Prompt-tuningforLow-resourceGeneralizedEntityMatching》原文链接
BQW_·2022-11-23 09:56

Ontology-enhanced Prompt-tuning for Few-shot Learning

Ontology-enhancedPrompt-tuningforFew-shotLearning本文仅供参考、交流、学习论文地址：https://arxiv.org/abs/2201.11332代码和数据集地址：暂无1.摘要  小样本学习（FSL）的目标是基于有限数量的样本进行预测。结构化数据（如知识图谱和本体库）已经被用来协助各种任务中的小样本情况。然而，现有方法所采用的先验存在知识缺失、知识
回锅肉炒肉·2022-11-21 15:37

论文笔记 WWW 2022|Ontology-enhanced Prompt-tuning for Few-shot Learning

文章目录1简介1.1动机1.2创新2方法2.1GeneralFrameworkwithPrompt-Tuning2.2OntologyTransformation2.2.1RelationExtraction2.2.2EventExtraction2.2.3KnowledgeGraphCompletion2.3Span-sensitiveKnowledgeInjection2.4Collectiv
hlee-top·2022-11-21 15:59

论文笔记：Ontology-enhanced Prompt-tuning for Few-shot Learning

论文来源：WWW2022论文地址：https://arxiv.org/pdf/2201.11332.pdfhttps://arxiv.org/pdf/2201.11332.pdf论文代码：暂未公开笔记仅供参考，撰写不易，请勿恶意转载抄袭！Abstract小样本学习旨在基于有限数量的样本就行预测。结构化数据（如知识图谱、本体库）已被用于少样本设置的各种任务。但是现有方法采用的先验存在知识缺失、知识噪
富婆儿不爱money·2022-11-21 15:51

KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction

KnowPrompt:Knowledge-awarePrompt-tuningwithSynergisticOptimizationforRelationExtraction本文仅供参考、交流、学习论文地址：https://arxiv.org/abs/2104.07650代码和数据集地址：https://github.com/zjunlp/KnowPrompt1.摘要  最近，prompt-tun
回锅肉炒肉·2022-11-20 12:13

KnowPrompt:Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction

AbstractPrompt-tuning的核心思想就是将文本块（textpieces）插入到输入中并且将一个分类问题转换成一个掩码语言模型问题。在关系抽取任务中，决定一个合适的prompt模板需要大量的领域知识，并且很难有一个合适的labelword。此外，在实体和关系之间存在着大量的语义知识。为此作者提出了一个基于协同优化的知识感知的即时优化方法，这种方法着重将知识插入到prompt-tuni
hithithithithit·2022-11-20 12:09

[论文阅读笔记62]KnowPrompt - Knowledge-aware Prompt-tuning with Synergistic Optimization for RE

Knowledge-awarePrompt-tuningwithSynergisticOptimizationforRelationExtractionthepaperhasbeenacceptedbyWWW2022.AlibabaGroup&&ZhejiangUniversity2.模型2.1摘要把关系标签之间的知识整合到关系提取的prompt-tuning
happyprince·2022-11-20 12:34

论文阅读《KnowPrompt: Knowledge-aware Prompt-tuning withSynergistic Optimization for Relation Extractio》

论文链接KnowPrompt:Knowledge-awarePrompt-tuningwithSynergisticOptimizationforRelationExtractionIntroduction现有关系抽取存在的问题：基于微调的关系抽取方法：(1)性能严重依赖耗时和劳动密集型的注释数据，难以很好地泛化。(2)预训练模型与下游任务存在GAP。基于提示微调的关系抽取方法：(1)确定合适的提
沐神的小迷弟·2022-11-20 12:33

Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification

论文来源：ACL2022论文地址：https://arxiv.org/pdf/2108.02035.pdfhttps://arxiv.org/pdf/2108.02035.pdf论文代码：https://github.com/thunlp/KnowledgeablePromptTuninghttps://github.com/thunlp/KnowledgeablePromptTuningAbst
富婆儿不爱money·2022-11-20 12:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他