TUNING】第9页

大模型微调原理与代码实战案例（三）：Prefix Tuning / P-Tuning v2

PrefixTuning简述PrefixTuning（论文：Prefix-Tuning:Optimizing

Python算法实战·2023-10-16 01:42

冻结LM微调Prompt: Prefix-Tuning & Prompt-Tuning & P-Tuning

这一章我们介绍在下游任务微调中固定LM参数，只微调Prompt的相关模型。这类模型的优势很直观就是微调的参数量小，能大幅降低LLM的微调参数量，是轻量级的微调替代品。和前两章微调LM和全部冻结的prompt模板相比，微调Prompt范式最大的区别就是prompt模板都是连续型（Embedding），而非和Token对应的离散型模板。核心在于我们并不关心prompt本身是否是自然语言，只关心prom

野生的狒狒·2023-10-16 01:42

prefix-tuning: optimizing continuous prompt for generation

有一类方法是使用了adaptertuning，freeze大多数的ptm的参数，嵌入额外的task-specific的参数，只调整部

onlyxinbaby·2023-10-16 01:42

【LLM微调范式1】Prefix-Tuning: Optimizing Continuous Prompts for Generation

论文标题：Prefix-Tuning:OptimizingContinuousPromptsforGeneration论文作者：XiangLisaLi,PercyLiang论文原文：https://arxiv.org

datamonday·2023-10-16 01:12

微调Yolov8动物姿势估计模型

本文主要以狗的姿势估计为例，展示如何对当下流行的YOLOv8姿势模型进行Fine-tuning，并附录完整代码。

穿着帆布鞋也能走猫步·2023-10-15 19:14

Tone mapping curve（色调映射曲线）与gamma 曲线的区别与联系

在tuning高通平台的时候，高通架构中有TMC,还有LTM/GTM等模块对TMC调整，最后还有gamma调整。

乐正倩彦·2023-10-15 18:02

HSN：微调预训练ViT用于目标检测和语义分割，华南理工和阿里巴巴联合提出

论文标题：HierarchicalSideTuningforVisionTransformers机构：华南理工大学、阿里巴巴论文地址：https://arxiv.org/pdf/2310.0539

CV51·2023-10-15 04:47

下载并处理【T0】指令微调数据集--手把手教程

T0benchmark（或者叫P3）是一个大规模的人工标注instructiontuning数据集，在ICLR2021T0一文中提出，其收集了来自huggingfacehub上的多任务数据，并为每一个task

Reza.·2023-10-14 17:06

数据规模缩小 200 倍！指令微调高效指导大模型学习

虽然指令微调（InstructionTuning）作为一种微调方法，与传统的微调相比，所需要的数据较少并更具有人类友好性，还可以用于多种不同的下游任务。

夕小瑶·2023-10-14 14:51

大模型微调学习

用好大模型的层次：1.提示词工程(promptengineering);2.大模型微调(finetuning)为什么要对大模型微调：1.大模型预训练成本非常高；2.如果promptengineering

HsienWei-Chin·2023-10-14 14:08

微调chatGLM2-6B大模型

P-TuningV2：仅微调前缀编码器。Freeze：仅微调后几层的全连接层。

羊驼锋·2023-10-14 04:10

迁移学习中的常见技巧:微调（fine-tuning）

目录一：回顾二：微调2.1热狗识别获取数据集定义和初始化模型微调模型所有项目代码+UI界面一：回顾上一篇我们理解了深度学习中的跟RestNet结构很相似的网络——DenseNet，它是一种密集连接卷积神经网络，由李沐等人于2017年提出。与ResNet等传统卷积神经网络不同，DenseNet中每个层都直接与前面的所有层相连，这种直接的密集连接架构有助于信息和梯度在网络中的流通，从而在训练中提高了梯

QTreeY123·2023-10-13 13:51

LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-into Attention论文解读

LLaMA-Adapter:EfficientFine-tuningofLanguageModelswithZero-intoAttention论文解读IntroductionLLaMA-AdapterLearnableAdaptionPromptsZero-initAttention

HanZee·2023-10-13 08:50

Prefix-tuning、Adapter、LLaMA-Adapter的流程图与伪代码实现

Prefix-tuning、Adapter、LLaMA-Adapter的伪代码实现Prefix-tuningAdapterLLaMA-AdapterPrefix-tuning流程图：代码：Adapter

HanZee·2023-10-13 08:50

KDD 2022 | 图“预训练、提示、微调”范式下的图神经网络泛化框架

©作者|社媒派SMP来源|社媒派SMP本文是SIGKDD2022入选论文“GPPT:GraphPre-trainingandPromptTuningtoGeneralizeGraphNeuralNetworks

PaperWeekly·2023-10-13 07:36

JVM原理以及性能调优

GC和GCTuningGC的基础知识1.什么是垃圾C语言申请内存：mallocfreeC++：newdeletec/C++手动回收内存Java:new？

陈先森mansplain·2023-10-12 12:01

OpenAI更新不会代码也可进行模型微调

01通过微调截图可以看到 1.Fine-tuning：这是微调功能的主页面。

AI 研习所·2023-10-12 00:38

【AI视野·今日Robot 机器人论文速览第五十一期】Tue, 10 Oct 2023

CS.Robotics机器人学论文速览Tue,10Oct2023Totally54papers上期速览✈更多精彩请移步主页DailyRoboticsPapersOnMulti-FidelityImpedanceTuningforHuman-RobotCooperativeManipulationAuthorsEthanLau

hitrjj·2023-10-11 14:01

JVM课程笔记

GC和GCTuningGC的基础知识1.什么是垃圾C语言申请内存：mallocfreeC++：newdeletec/C++手动回收内存Java:new？

WhaleFall_0db7·2023-10-10 19:58

ChatGLM2-6B微调实践-P-Tuning方案

CUDA3、安装PyTorch4、安装ChatGLM2-6B微调实践1、准备数据集2、安装python依赖3、微调并训练新模型4、微调后模型的推理与评估5、验证与评估微调后的模型6、微调模型优化7、P-Tuning

我在北国不背锅·2023-10-10 19:36

[Pytorch系列-48]：如何查看和修改预定义神经网络的网络架构、网络参数属性

（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/121342500目录第1章FineTuning

文火冰糖的硅基工坊·2023-10-10 12:31

轻量化微调 Parameter-Efficient Fine-Tuning

导读近年来，大规模预训练模型在自然语言处理任务上取得了巨大的成功。对预先训练好的语言模型进行微调是目前自然语言处理任务中的普遍范式，在许多下游任务上表现出了极好的性能。全参数微调，即对模型的所有参数进行训练，是目前将预训练模型应用到下游任务的最通用方法。然而，全微调的一大弊病是对于每一个任务，模型均需要保留一份大规模的参数备份，在下游任务量很大时这种做法会相当昂贵。在预训练模型越来越大，不断逼近到

还卿一钵无情泪·2023-10-10 12:26

Parameter-Efficient Fine-tuning 相关工作梳理

©PaperWeekly原创·作者|避暑山庄梁朝伟研究方向|自然语言处理背景随着计算算力的不断增加，以transformer为主要架构的预训练模型进入了百花齐放的时代。看到了大规模预训练的潜力，尝试了不同的预训练任务、模型架构、训练策略等等，在做这些探索之外，一个更加直接也通常更加有效的方向就是继续增大数据量和模型容量来向上探测这一模式的上界。首先这些经过海量数据训练的模型相比于一般的深度模型而言

PaperWeekly·2023-10-10 12:45

文献阅读：Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning

文献阅读：RaiseaChildinLargeLanguageModel:TowardsEffectiveandGeneralizableFine-tuning1.内容简介2.相关工作1.WeightDecay2

Espresso Macchiato·2023-10-10 12:45

ConPET: Continual Parameter-Efficient Tuning for Large Language Models

本文是LLM系列文章，针对《ConPET:ContinualParameter-EfficientTuningforLargeLanguageModels》的翻译。

UnknownBody·2023-10-10 12:14

BitFit : Bias-term Fine-tuning

BitFit:Bias-termFine-tuning题目：BitFit:SimpleParameter-efficientFine-tuningforTranformer-basedMaskedLanguage-models

be_humble·2023-10-10 12:44

预训练语言模型fine-tuning近期进展概述

©作者｜AIBox来源｜RUCAIBox近年来，迁移学习改变了自然语言处理领域的范式，对预训练语言模型（PLM）进行微调（fine-tuning）已经成为了新的范式。

PaperWeekly·2023-10-10 12:44

InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning【翻译】

目录Abstract1Introduction2Vision-LanguageInstructionTuning2.1TasksandDatasets2.2TrainingandEvaluationProtocols2.3Instruction-awareVisualFeatureExtraction2.4TrainingDatasetBalancing2.5InferenceMethods2.6

ManmanHAN·2023-10-10 12:42

LONGLORA: EFFICIENT FINE-TUNING OF LONGCONTEXT LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《LONGLORA:EFFICIENTFINE-TUNINGOFLONGCONTEXTLARGELANGUAGEMODELS》的翻译。

UnknownBody·2023-10-10 12:35

吴恩达《微调大型语言模型》笔记

微调（fine-tuning）就是利用特有数据和技巧将通用模型转换为能执行具体任务的一种方式。例如，将GPT-3这种通用模型转换为诸如ChatGPT这样的专门用于聊天的模型。

小小白2333·2023-10-10 01:24

【论文阅读】LLM4RS：TALLRec: An Effective and Efficient Tuning Framework to Align Large Language Model w RS

【论文阅读】LLM4RS：TALLRec:AnEffectiveandEfficientTuningFrameworktoAlignLargeLanguageModelwRS文章目录【论文阅读】LLM4RS

笃℃·2023-10-09 19:59

Oracle SQL 调优

//bulo.aeeboo.com/group/topic/1815,此网址已打不开现转载自：http://www.itpub.net/thread-1002790-1-1.htmlORACLESQLTUNING

grit_cn·2023-10-09 19:25

论文研读｜Protecting Intellectual Property of Deep Neural Networks with Watermarking

目录论文信息文章简介研究动机研究方法水印生成水印嵌入版权验证实验结果有效性（Effectiveness）高效性（ConvergeSpeed）保真度（Functionality）鲁棒性（Robustness）Anti-剪枝攻击（Pruning）Anti-微调攻击（Fine-tuning

_Meilinger_·2023-10-09 11:17

ChatGLM2-6B 模型本地部署及基于 P-Tuning v2 的微调

ChatGLM-6B的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，还引入了更强大的性能、更强大的性能、更高效的推理、更高效的推理四大特性，本文将详细阐述如何本地部署、P-Tuning

天于·2023-10-09 04:06

（三）ChatGLM-6B 的 DeepSpeed/P-Tuning v2微调

sawyes·2023-10-09 04:05

使用DeepSpeed/P-Tuning v2对ChatGLM-6B进行微调

link之前尝试了基于ChatGLM-6B使用LoRA进行参数高效微调，本文给大家分享使用DeepSpeed和P-Tuningv2对ChatGLM-6B进行微调，相关代码放置在GitHub上面：llm-action

luoganttcc·2023-10-09 04:34

ChatGLM-6B 部署与 P-Tuning 微调实战

自从ChatGPT爆火以来，树先生一直琢磨想打造一个垂直领域的LLM专属模型，但学习文本大模型的技术原理，从头打造一个LLM模型难度极大，所以这事儿就一直搁置了。但最近一个月，开源文本大模型如雨后春笋般接踵而至，例如LLaMA、Alpaca、Vicuna、ChatGLM-6B等。树先生觉得这个事有着落了，毕竟站在巨人的肩膀上，离成功就会更近一步。经过比较，我选择了ChatGLM-6B作为预训练模型

程序员树先生·2023-10-09 04:29

ChatGLM-6B微调p tuning v2和lora对比

官方项目地址：https://github.com/THUDM/ChatGLM-6B参考本人之前的博客下载ChatGLM-6B模型：https://blog.csdn.net/Acecai01/article/details/131221676设备一张3090Ti，24G显卡实验目的通过微调的方法，训练ChatGLM-6B模型，使得模型能够根据输入的片段小说（斗破苍穹）文本，续写两行后面的故事，同

Acecai01·2023-10-09 04:28

从0到1基于ChatGLM-6B使用LoRA进行参数高效微调

相对于fullfinetuning，使用LaRA显著提

luoganttcc·2023-10-09 03:58

Prompt-Tuning（一)

这些模型采用了Transformer架构，并遵循了Pre-training和Fine-tuning的训练范式。通过预训练模型在大规模无标签数据上进行学习，可以使模型学习到丰富的语言知识和语境理解能力。

余生有烟火·2023-10-07 04:27

ChatGLM2发布，位居C-Eval榜首!

文章目录中文大语言模型评估基准：C-EVALChatGLM2-6B部署推理环境配置模型下载git-lfs安装代码调用基于gradio的网页版Demo显存占用情况数理逻辑推理性能显存占用的减少量化对模型性能的影响基于P-Tuningv2

dzysunshine·2023-10-07 03:34

论文笔记-BOFFIN TTS: FEW-SHOT SPEAKER ADAPTATION BY BAYESIAN OPTIMIZATION

https://arxiv.org/abs/2002.01953相关代码：暂无摘要本文提出基于贝叶斯优化的迁移学习TTS方法，简称BOFFINTTS（BayesianOptimizationForFinetuningNeuralTextToSpeech

静夜寒风·2023-10-06 21:43

【AI视野·今日CV 计算机视觉论文速览第262期】Fri, 6 Oct 2023

6Oct2023Totally73papers上期速览✈更多精彩请移步主页DailyComputerVisionPapersImprovedBaselineswithVisualInstructionTuningAuthorsHaotianLiu

hitrjj·2023-10-06 21:42

LLMs 用强化学习进行微调 RLHF: Fine-tuning with reinforcement learning

让我们把一切都整合在一起，看看您将如何在强化学习过程中使用奖励模型来更新LLM的权重，并生成与人对齐的模型。请记住，您希望从已经在您感兴趣的任务上表现良好的模型开始。您将努力使指导发现您的LLM对齐。首先，您将从提示数据集中传递一个提示。在这种情况下，“Adogis…”，传递给指导LLM，然后生成一个完成，这种情况下是"…afurryanimal."一只毛茸茸的动物。接下来，您将将此完成和原始提示

AI架构师易筋·2023-10-06 10:51

JVM Optimization Learning(三)-Garbage Collector tuning

目录一、GCtuning1、什么是垃圾2、如何定位垃圾3、常见的垃圾回收算法4、JVM内存分代模型（用于分代垃圾回收算法）5、常见的垃圾回收器常见垃圾回收器组合参数设定(1.8)6、JVM常用命令行参数一

杀神lwz·2023-10-06 03:32

Tune-A-Video论文阅读

论文链接：Tune-A-Video:One-ShotTuningofImageDiffusionModelsforText-to-VideoGeneration文章目录摘要引言相关工作文生图扩散模型文本到视频生成模型文本驱动的视频编辑从单个视频生成方法前提

zzfive·2023-10-05 14:02

大语言模型(LLMs)综述调研

emergentabilities）LLM->显著规模的PLMLLM的四个阶段：预训练、调优、使用、评估pre-training:howtopre-trainacapableLLMadaptationtuning

nanobobo·2023-10-05 12:29

InstructGPT高效实践——【DeepSpeed-Chat】源码详解(2/3)：Supervised Finetuning、Reward Model Finetuning

目录前言1phase-1:SupervisedFinetuning1.1训练数据样例1.2训练过程1.3关键代码详解1.3.1基座模型结构1.3.2LoRA结构及其正向传播1.3.3phase1的指标评估

Remixa·2023-10-05 12:27

GPT

在原论文中提出了半监督学习方法，即结合了无监督的预训练和有监督的fine-tuning。

jerrychenly·2023-10-05 04:34

大模型微调概览

文章目录微调和高效微调高效微调技术方法概述高效微调方法一：LoRA高效微调方法二:PrefixTuning高效微调方法三:PromptTuning高效微调方法四:P-Tuningv2基于强化学习的进阶微调方法

伊织code·2023-10-03 22:29

推荐频道

TUNING】