TUNING】

【机器学习与自然语言处理】预训练 Pre-Training 各种经典方法的概念汇总

【NLP概念合集：一】预训练Pre-Training，微调Fine-Tuning及其方法的概念区别前言请看此正文预训练Pre-Training无监督学习unsupervisedlearning概念：标签
溢流眼泪·2024-02-06 07:18

GPT-1, GPT-2, GPT-3, GPT-3.5, GPT-4论文内容解读

1.1whatischatGPT1.2HowdoesChatGPTwork1.3TheapplicationsofChatGPT1.3ThelimitationsofChatGPT2算法原理2.1GPT-12.1.1Unsupervisedpre-training2.1.2Supervisedfine-tuning2.1.3
BGoodHabit·2024-02-06 06:36

一文辨析清楚LORA、Prompt Tuning、P-Tuning、Adapter 、Prefix等大模型微调方法

本文探讨了大模型微调的核心概念和方法，详细介绍了如LoRA、AdapterTuning、PrefixTuning等多种微调策略。
深度学习算法与自然语言处理·2024-02-05 05:45

预训练

在CV和NLP领域，pretraining+finetuning是常用手段。而在推荐实际应用中，预训练也有一定的作用。
shudaxu·2024-02-05 02:28

【LLM】提示工程技术提炼精华分享

提示工程相比较于微调（Fine-tuning）的成本和复杂度更低，但是不能对模型本身的能力进行优化，只能基于模型已有能力进行应用。二、基
液态不合群·2024-02-04 21:48

From LLM to Conversational Agent: A Memory Enhanced Architecture with Fine-Tuning of LLM

本文是LLM系列文章，针对《FromLLMtoConversationalAgent:AMemoryEnhancedArchitecturewithFine从LLM到会话代理：一种对大型语言模型进行微调的内存增强体系结构摘要1引言2代理框架3代理调整4实验5相关工作6结论与未来工作摘要本文介绍了RAISE（ReasoningandActingthroughScratchpadandExamples
UnknownBody·2024-02-04 16:16

ASTRAIOS: Parameter-Efficient Instruction Tuning Code Large Language Models

本文是LLM系列文章，针对《ASTRAIOS:Parameter-EfficientInstructionTuningCodeLargeLanguageModels》的翻译。
UnknownBody·2024-02-04 16:46

Encoder-based Domain Tuning for Fast Personalization of Text-to-Image Models——【论文笔记】

本文是发表于ACMTransactionsonGraphics期刊上的一篇论文论文地址：[2302.12228]基于编码器的域优化，用于文本到图像模型的快速个性化(arxiv.org)官方代码：mkshing/e4t-diffusion：实现基于编码器的域调优，以实现文本到图像模型的快速个性化(github.com)一、Introduction近年来，个性化大规模文本到图像模型的能力已经彻底改变了
我是浮夸·2024-02-04 14:51

SVDiff: Compact Parameter Space for Diffusion Fine-Tuning——【论文笔记】

thecvf.com)官方代码：mkshing/svdiff-pytorch:Implementationof"SVDiff:CompactParameterSpaceforDiffusionFine-Tuning
我是浮夸·2024-02-04 14:19

吴恩达：改善深层神经网络：超参数调试、正则化以及优化(Improving Deep Neural Networks:Hyperparameter tuning, Regularizatio)

@[toc]1.1训练、开发、测试集trainset训练集Devset验证集testset测试集小规模数据：训练集：其他=7:3大数据时代（超百万数据）：训练集占80%或者90%以上验证集和测试集来自同一分布如果只有训练集和验证集，那么验证集Devset就是测试集testset1.2偏差、方差[图片上传失败...(image-438142-1626709583495)]trainseterror1
Cache_wood·2024-02-04 10:48

Prompt Tuning 和 Delta Tuning 针对预训练语言模型进行微调

PromptTuning和DeltaTuning是两种针对预训练语言模型进行微调的方法，它们旨在提高微调的效率和减少所需的训练数据量。下面分别介绍这两种方法以及它们之间的区别。
人生万事须自为，跬步江山即寥廓。·2024-02-04 06:30

【模型微调】| 各类微调模型总结 P-Tuning，Prefix，P-tuning v2，LoRA

文章目录1微调背景1.1Fullfine-tuning全参数微调（FFT）1.2parameter-Efficient-fine-tuning部分参数微调（PEFT）2提示词调整训练法2.1P-Tuning2.2Prefix2.3P-Tuningv23
Qodicat·2024-02-03 15:02

PEFT微调方式总结

PEFT微调方式总结PEFT微调方式总结PEFT介绍安装peft支持的微调方法和任务SEQ_CLSSEQ_2_SEQ_LMCAUSAL_LMTOKEN_CLS模型加载微调加载PROMPT_TUNING简介源码
江小皮不皮·2024-02-03 15:48

YOLO-World: Real-Time Open-Vocabulary Object Detection

Experiments2.1ImplementationDetails2.2Pre-training2.3AblationExperiments2.3.1预训练数据2.3.2对RepVL-PAN的消融研究2.3.3文本编码器2.4Fine-tuningYOLO-World2.5Open-VocabularyInstanceSegmentation2.6Vis
猛码Memmat·2024-02-03 09:41

树莓派相机tuning方法文档机翻

相机调整工具（CTT）是一个Python程序，旨在从一组相对较小的校准图像中生成一个完全工作的相机调整JSON文件。一旦工具运行完毕，为了获得所需的图像质量，应该不需要或只需要对JSON文件进行最小的进一步调整。此外，调谐算法被设计为使用最少量的昂贵或专业设备。创建完成的相机调谐所需的过程如下。1.首先，必须编写一个功能强大的V4L2相机驱动程序（见第3章）。为了编写相机驱动程序，可以复制未校准的
宇宙研究小组·2024-02-03 02:04

(新手亲测有效)bug解决：在用显存24G的3090采用LoRA微调ChatGLM-6B（FP16）时报错torch.OutOfMemoryError:CUDA out of Memory.

但是，在运行Chatglm_lora_tuning.py时出现的
韬小志·2024-02-02 20:34

2024-01-06-AI 大模型全栈工程师 - 机器学习基础

摘要2024-01-06阴杭州晴本节简介:a.数学模型&算法名词相关概念;b.学会数学建模相关知识；c.学会自我思考，提升认知，不要只会模仿；课程内容1.Fine-Tuning有什么作用？
流雨声·2024-02-02 10:42

2024-01-06-AI 大模型全栈工程师 - 机器学习基础

摘要2024-01-06阴杭州晴本节简介:a.数学模型&算法名词相关概念;b.学会数学建模相关知识；c.学会自我思考，提升认知，不要只会模仿；课程内容1.Fine-Tuning有什么作用？
流雨声·2024-02-02 07:06

第2章 大模型的基础知识2.2 大模型的关键技术2.2.2 预训练与微调

v=bZQun8Y4L2A&t=339s1.背景介绍在本章节中，我们将深入探讨大模型中的关键技术之一：预训练与微调(Pre-trainingandFine-tuning)。
OpenChat·2024-02-02 05:09

ChatGLM-6B在法律数据集上微调

2）转为json格式（和ChatGLM-6B中ptuning提供的AdvertiseGe
Luzichang·2024-02-01 20:50

my.ini windows配置

#Otherdefaulttuningvalues#MySQLServerInstanceConfigurationFile#--------------------------------------
我是全栈架构师·2024-02-01 15:26

微调入门篇:大模型微调的理论学习

2、大模型微调的方式(1)全量微调(FullFine-tuning):这个其实算不上
程序猿小三·2024-01-31 19:21

huggingface 的trainer训练框架优势

框架支持了最新的各种NLP预训练语言模型，使用者可以很快速的进行模型的调用，并且支持模型furtherpretraining和下游任务fine-tuning。
be_humble·2024-01-31 07:57

基于Prompt Learning的信息抽取

PTR:PromptTuningwithRulesforTextClassification清华；liuzhiyuan；通过规则制定subpromptRelationExtractionasOpen-bookExamination
wang2008start·2024-01-30 09:37

Prompt Learning 的几个重点paper

PrefixTuning:Prefix-Tuning:OptimizingContinuousPromptsforGeneration在输入token之前构造一段任务相关的virtualtokens作为
wang2008start·2024-01-30 09:29

VLM 系列——Llava1.5——论文解读

一、概述1、是什么Llava1.5是llava的升级全称《ImprovedBaselineswithVisualInstructionTuning》，是一个多模态视觉-文本大语言模型，可以完成：图像描述
TigerZ*·2024-01-29 21:00

VLM 系列——Instruct BLIP——论文解读

一、概述1、是什么InstructBLIP全称《InstructBLIP:TowardsGeneral-purposeVision-LanguageModelswithInstructionTuning
TigerZ*·2024-01-29 21:29

VLM 系列——Llava——论文解读

一、概述1、是什么Llava全称《VisualInstructionTuning》，是一个多模态视觉-文本大语言模型，可以完成：图像描述、视觉问答、根据图片写代码（HTML、JS、CSS），潜在可以完成单个目标的视觉定位
TigerZ*·2024-01-29 21:57

python&anconda系列（亲测有效）：ChatGLM：win11部署大模型实例并正常启动、ChatGLM2-6B 模型基于 P-Tuning v2 的微调

ChatGLM：win11部署大模型实例并正常启动、ChatGLM2-6B模型基于P-Tuningv2的微调一.anconda1.anconda安装2.环境变量配置3.使用过程中的问题已经解决的问题环境方面
坦笑&&life·2024-01-29 15:20

AIGC知识速递——Google的Bert模型是如何fine-tuning的？

这些模型已经在大量文本数据上进行过预训练了，我们如何对BERT模型进行fine-tuning呢？准备和预处理数据：集针对特定任务的数据集。例如，情感分析任务的数据集通常包含文本和对应的情感标签
OJAC近屿智能·2024-01-29 10:44

mysqld install mysql default_MySQL安装默认配置

查看MySQL默认数据保存地，执行语句：SELECT@@databir;查看MySQL安装文件路径，执行语句：SELECT@@basedir;MySQL默认配置文件：#Otherdefaulttuningvalues
量子游走·2024-01-28 17:33

AAAI 2024优秀论文汇总！包含图神经网络、多模态、时间序列等热门方向

图神经网络1、Fine-tuningGraphN
AI热心分享家·2024-01-26 18:33

腾讯LLaMA Pro大模型：突破大模型微调的知识遗忘难题

引言：大模型微调中的挑战在人工智能的发展过程中，大型语言模型（LLM）的微调（fine-tuning）始终是提升模型在特定任务上性能的关键。然而，微调过程中常面临一个主要挑战：知识遗忘。
努力犯错·2024-01-26 18:40

【LLM问答】两阶段的对话式问答模型ChatQA思路和兼看两阶段的RAG知识问答引擎QAnything

一、ChatQA1.1微调如下图，ChatQA微调包含两个阶段，SupervisedFine-tuning和Context-EnhancedInstructionTuning1.1.1阶段一：SFT（SupervisedFine-tuning
余俊晖·2024-01-26 06:48

更高效的大模型调优方法，华盛顿大学推出“代理调优”

为了提升模型的调优效率，华盛顿大学和艾伦AI实验室的研究人员推出了全新方法——ProxyTuning（代理调优）。
RPA中国·2024-01-25 06:14

Monitoring Docker and The importance of monitoring英翻汉练习2024/1/24

WenowknowsomewaystooptimizeourDockerdeployments.Wealsoknowhowtoscaletoimproveperformance.Buthowdoweknowthatourtuningassumptionswerecorrect
DarkFlameM·2024-01-25 01:29

【机器学习】机器学习8大调参技巧！

原文出处：https://analyticsindiamag.com/top-8-approaches-for-tuning-hype
风度78·2024-01-24 16:55

大模型参数高效微调技术原理综述

然而，随着模型规模的增大，全量微调（fullfine-tuning）所需的计算和存储资源也急剧增加，这使得在消费级硬件上实现全量微调变得不可行。为了解决这个问题，参数高效微调技术应运而生。
百度_开发者中心·2024-01-24 15:11

Prompt Tuning：大模型微调实战

在PromptTuning之前，Finetuning是常用的微调方法。Finetuning是通过使用大模型进行下游任务重训的方法，但由于大模型参数量过大，Finetun
百度_开发者中心·2024-01-24 15:41

第六课：Prompt

流程prompt设计课程ppt及代码地址2、学习心得：3、经验分享：4、课程反馈：5、使用MindSpore昇思的体验和反馈：6、未来展望：第六课：Prompt1、学习总结：Prompt介绍Fine-tuningRecapan
一条大蟒蛇6666·2024-01-24 09:08

ardupilot 飞机的关键参数设置（电池+电机+滤波器）

，主要参考SettingtheAircraftUpforTuning0.序言调整设置飞机的参数以下参数应根据您的飞机规格正确设置。每一个都会影响调整过程的质量。
魔城烟雨·2024-01-23 16:04

LLMs之Vanna：Vanna(利用自然语言查询数据库的SQL工具+底层基于RAG)的简介、安装、使用方法之详细攻略

LLMs之Vanna：Vanna(利用自然语言查询数据库的SQL工具+底层基于RAG)的简介、安装、使用方法之详细攻略目录Vanna的简介1、用户界面2、RAGvs.Fine-Tuning3、为什么选择
一个处女座的程序猿·2024-01-23 10:28

AI大模型开发架构设计（4）——人人需要掌握的大模型微调

文章目录人人需要掌握的大模型微调1大模型Fine-tuning（微调）需要具备三个方面的能力Fine-tuning（微调）何为Fine-tuning（微调）什么情况下使用微调？怎么微调？
讲文明的喜羊羊拒绝pua·2024-01-23 04:59

太通透了！大模型接入业务系统的最佳实践来了

One-Shot,Few-Shot链式思维任务分解如何在PROMPT提示语中嵌入业务知识四、通过RAG(检索增强)方式接入RAG的实现RAG的流程知识检索如何实现业务接入RAG检索的例子五、通过Fine-tuning
机器学习社区·2024-01-23 01:33

掌握大模型这些优化技术，优雅地进行大模型的训练和推理！

然而，大量实验证明，在高质量的训练语料进行指令微调（Instruction-tuning）的前提下，超过百
机器学习社区·2024-01-23 01:02

AQE优化和源码

介绍AQE全称是AdaptiveQueryExecution，官网介绍如下PerformanceTuning-Spark3.5.0DocumentationAQE做了什么AQE是SparkSQL的一种动态优化机制
这个程序猿可太秀了·2024-01-22 17:56

gpt-2 生成文本_对gpt 2进行了微调，以实现神奇的收集风味文本生成

gpt-2生成文本AtemplateforfinetuningyourownGPT-2model.用于微调您自己的GPT-2模型的模板。
weixin_26730921·2024-01-22 12:56

Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification

1标题+作者KPT，将知识引入PromptVerbalizer处理文本分类任务，清华大学2摘要在低数据场景下，Prompt-tuning（PT）比fine-tuning（FT）效果好，PT将分类问题转为带掩码的语言模型问题
Navajo_c·2024-01-22 12:23

Transformer and Pretrain Language Models3-1

contenttransformerattentionmechanismtransformerstructurepretrainedlanguagemodelslanguagemodelingpre-trainedlanguemodels(PLMs）fine-tuningapproachesPLMsafterBERTapplicationsofmaskedLMfrontiersofPLMstran
ringthebell·2024-01-22 10:27

【LLM-agent】function call功能、AgentTuning微调

所以为了提高模型准确识别和调用函数的能力，如agenttuning就是利用多个agent任务交互轨迹，对LLM进行sft微调，文章目录note一、functioncall1.functio
山顶夕景·2024-01-22 08:16
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他