TUNING

【Kimi帮我看论文(二)】Parameter-Efficient Fine-Tuning Methods for Pretrained Language Models—Survey

一、论文信息1标题Parameter-EfficientFine-TuningMethodsforPretrainedLanguageModels:ACriticalReviewandAssessment2
ZedKingCarry·2023-12-28 00:45

论文阅读——TÜLU

ExploringtheStateofInstructionTuningonOpenResources统一输入格式：将所有数据集格式化为遵循聊天机器人风格的模式，以统一指令数据集的各种风格和格式。
じんじん·2023-12-27 17:07

文献研读｜Prompt窃取与保护综述

PromptStealingAttacksAgainstText-to-ImageGenerationModels（PromptStealer）2.HardPromptsMadeEasy:Gradient-BasedDiscreteOptimizationforPromptTuningandDiscovery
_Meilinger_·2023-12-27 08:11

使用 PAI-Blade 加速 StableDiffusion Fine-Tuning

01背景StableDiffusion模型自从发布以来在互联网上发展迅猛，它可以根据用户输入的文本描述信息生成相关图片，用户也可以提供自己喜爱的风格的照片，来对模型进行微调。例如当我们输入"Aphotoofsksdoginabucket"，StableDiffusion模型会生成类似下面的图片：02PAI-Blade加速PyTorch训练PAI-Blade使用编译优化技术提高PyTorch程序的执
阿里云大数据AI技术·2023-12-27 00:49

记忆从灵魂中初醒 苦尽甘来

psychoacoustics心理声学frequency频率intensity强度time时间waveform波形pitch音高loudness响度duration时值timbre音色(tonecolororquality)tuningfork
滴水铭心·2023-12-26 02:09

ML Design Pattern——Hyperparameter Tuning

Hyperparametertuningistheprocessoffindingtheoptimalsetofhyperparametersforamachinelearningmodel.Hyperparametersaresettingsthatcontrolthelearningprocess
卢延吉·2023-12-25 05:41

今日无更新

，使用AllenNLP了解Transformer、了解LSTM了解jieba等分词工具了解Gensim等NLP处理工具接下来要做的：基于Pytorch搞定LSTM和Transformer（使用Finetuning
我的昵称违规了·2023-12-25 02:21

论文笔记--InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning

论文笔记--InstructBLIP:TowardsGeneral-purposeVision-LanguageModelswithInstructionTuning1.文章简介2.文章概括3文章重点技术
Isawany·2023-12-24 03:35

【论文解读】：大模型免微调的上下文对齐方法

本文通过对alignmenttuning的深入研究揭示了其“表面性质”，即通过监督微调和强化学习调整LLMs的方式可能仅仅影响模型的语言风格，而对模型解码性能的影响相对较小。
深度人工智能·2023-12-23 14:52

【时序分析】TimeGPT：首个时间序列分析基础大模型

1.2.1时间序列预测问题基础1.2.2TimeGPT架构1.2.3训练数据集1.2.4训练TimeGPT1.2.5不确定性量化1.2.6实验结果1.2.6.1Zero-shot推断1.2.6.2FineTuning1.2.6.3
镰刀韭菜·2023-12-23 14:39

自然语言处理阅读第三弹

LLM微调三种方法Prefix-Tuning/Prompt-Tuning:在模型的输入或隐层添加k个额外可训练的前缀tokens(这些前缀是连续的伪tokens,不对应真实的tokens),只训练这些前缀参数
u013308709·2023-12-23 10:17

论文阅读——llava

VisualInstructionTuningLLaVA指令智能体分为两类：端到端的，通过LangChain[1]/LLM[35]协调各种模型的系统。数据集生成用GPT辅助生成的，具体不写了。
じんじん·2023-12-23 06:39

【Active Learning - 02】Fine-tuning Convolutional Neural Networks for Biomedical Image Analysis...

主动学习系列博文：【ActiveLearning-00】主动学习重要资源总结、分享（提供源码的论文、一些AL相关的研究者）：https://blog.csdn.net/Houchaoqun_XMU/article/details/85245714【ActiveLearning-01】深入学习“主动学习”：如何显著地减少标注代价：https://blog.csdn.net/Houchaoqun_XM
Houchaoqun_XMU·2023-12-23 03:22

LLama Factory 安装部署实操记录（二）

1.项目地址GitHub-hiyouga/LLaMA-Factory:Easy-to-useLLMfine-tuningframework(LLaMA,BLOOM,Mistral,Baichuan,Qwen
瑾怀轩·2023-12-22 16:13

MoDS: Model-oriented Data Selection for Instruction Tuning

该论文主要通过模型驱动，实现自动筛选高质量的Instructiontuning数据选取，实现大模型的能够和人类的意图进行对齐。
Re:fused·2023-12-22 14:51

RLHF介绍及实践测试

下面是强化学习微调的完整RLHF流程：RLHF-Stage1是supervised-fintuning，即使用上文提到的数据集进行模型微调，目的是将大模型
Charles_yy·2023-12-21 21:32

论文和模型学习资料合集

TransferVisualPromptGeneratoracrossLLMs(NeurIPS2023)【OpenMMLab社区开放麦讲座】《颠覆性创新：多模态对话与精准区域分割-VPGTrans&NExT-Chat》已知问题没有用到“InstructTuning
songyuc·2023-12-20 22:52

高级调优：查找并修复 Elasticsearch 慢查询

原文链接https://www.elastic.co/cn/blog/advanced-tuning-finding-and-fixing-slow-elasticsearch-queriesElasticsearch
水的精神·2023-12-20 14:17

LLM Agent发展演进历史（观看metagpt视频笔记）

技术路径演进大致是：SSL(Self-SupervisedLearning)->SFT(SupervisedFineTune)==IT(InstructionTuning)->RLHF。
峰峰jack·2023-12-19 10:46

Continuous Optimization：从Prefix-tuning到更强大的P-Tuning V2

©作者|李国趸单位|浙江大学硕士生研究方向|少样本学习Prefix-Tuning论文标题：Prefix-Tuning:OptimizingContinuousPromptsforGeneration论文链接
PaperWeekly·2023-12-18 12:44

[LLM]nanoGPT---训练一个写唐诗的GPT

karpathy/nanoGPT:Thesimplest,fastestrepositoryfortraining/finetuningmedium-sizedGPTs.
舒克与贝克·2023-12-18 12:13

饥荒联机版Mod开发——modmain（五）

mods.luamodutil.lua传送门前言在modmain中我们可以通过PrefabFiles={“filename”}来注册预设物Assets={Asset(“type”,“file”)｝来注册所需资源TUNING
夏湾·2023-12-18 07:44

QLoRA论文概述

QLORA:EfficientFinetuningofQuantizedLLMsQLoRA论文概述前言（省流版本）摘要论文十问实验实验1数据集和模型实验结论实验2数据集和模型实验结论局限性模型尺度数据集其他微调方法
江小皮不皮·2023-12-18 03:06

谷歌笔记应用Notebook LM，添加Gemini Pro模型并扩大应用范围；Fine-Tuning预训练模型

AI新闻谷歌更新AI笔记应用NotebookLM，添加GeminiPro模型并扩大应用范围摘要：谷歌在今年5月推出的AI笔记应用NotebookLM进行了更新，主要添加了最新的GeminiPro模型，并扩大了应用使用范围。NotebookLM可以为用户生成笔记摘要等内容，并基于用户笔记上下文产生见解。谷歌还表示，开发人员使用了一系列模型确保用户得到快速而妥当的响应。不过，谷歌强调NotebookL
go2coding·2023-12-17 23:43

教会羊驼说话：Instruction Tuning的最新进展

Title:TeachLlamastoTalk:RecentProgressinInstructionTuningLink:https://gaotianyu.xyz/blog/2023/11/30/instruction-tuning
zenRRan·2023-12-17 19:26

阅读笔记——《Hopper: Interpretative Fuzzing for Libraries》

【参考文献】ZhanQ,FangR,BinduR,etal.RemovingRLHFProtectionsinGPT-4viaFine-Tuning[J].arXivpreprintarXiv:2311.05553,2023
恣睢s·2023-12-16 19:23

Chatglm2-6b-lora&ptuning微调实践2

Chatglm2-6B-lora&ptuning微调实践21.参考教程2.实践环境3.微调实战3.1环境安装3.2单gpu微调3.2.1lora微调**注意事项**1.lora微调代码2.lora微调代码所在位置
fengxiaoyangfeng·2023-12-16 16:33

通用大模型训练过程必须经历的四个阶段！

从该图可知大模型训练主要有4步：Pretraining—预训练阶段SupervisedFinetuning（SFT）—监督微调，也叫指令微调阶段RewardModeling—奖励模型训练阶段ReinforcementLearning
Python算法实战·2023-12-16 11:03

NLP论文解读：无需模板且高效的语言微调模型（上）

©原创作者|苏菲论文题目：Prompt-freeandEfficientLanguageModelFine-Tuning论文作者：RabeehKarimiMahabadi论文地址：https://openreview.net
NLP论文解读·2023-12-15 22:27

深度学习论文阅读：Generative Pre-Training(GPT)

GPTAbstract1Introduction6Conclusion2RelatedWork3Framework3.1Unsupervisedpre-trainingGPT和BERT的区别3.2Supervisedfine-tuning3.3Task-specificinputtransformations4Experiments
阿正的梦工坊·2023-12-15 22:06

re:Invent 2023 | 一家支持生成式 AI 的企业：亚马逊云科技的变革人工智能/机器学习

关键字:[AmazonWebServicesre:Invent2023,GenerativeAi,亚马逊云科技,ModelDevelopment,MachineLearning,FineTuning]本文字数
李白的好朋友·2023-12-15 19:56

【ChatGLM2-6B】问题解决cannot import name ‘Doc‘ from ‘typing_extensions‘

问题描述在运行ChatGLM2-6B大语言模型和使用P-Tuning训练的时候，出现如下错误cannotimportname'Doc'from'typing_extensions'问题原因因为安装的typing_extensions
太空眼睛·2023-12-15 18:00

【ChatGLM2-6B】P-Tuning训练微调

机器配置阿里云GPU规格ecs.gn6i-c4g1.xlargeNVIDIAT4显卡*1GPU显存16G*1准备训练数据进入/ChatGLM-6B/ptuningmkdirAdvertiseGencdAdvertiseGen
太空眼睛·2023-12-15 18:30

Java Performance Tuning

JavaPerformanceTuningJava(TM)-seebottomofpage|home|services|training|newsletter|tuningtips|toolreports
terax·2023-12-15 17:11

为什么说人人都需要掌握ChatGPT技术和应用？

最近直播超级多，预约保你有收获今晚直播：《ChatGPT架构设计与应用案例实践》—1—ChatGPT架构设计剖析ChatGPT总体架构由三大部分构成：预训练（Pre-training）架构、微调（Fine-tuning
musicml·2023-12-15 16:14

从原理到实现教你搞定大模型在线推理架构

大模型在线推理架构设计与实践》—1—大模型在线推理工程架构设计LLM大模型整体架构由离线和在线两部分构成（架构如下图所示），离线部分主要是基于Transformer架构的预训练（Pre-training）和微调（Fine-tuning
musicml·2023-12-15 16:03

LLaMA-Factory使用V100微调ChatGLM2报错 RuntimeError: “addmm_impl_cpu_“ not implemented for ‘Half‘

model_name_or_path/aaa/LLaMA-Factory/models/chatglm2-6b\--do_train\--datasetbbbccc\--templatechatglm2\--finetuning_typ
ybdesire·2023-12-15 13:01

baichuan-7B-chat微调报错及解决记录 使用的仓库：LLaMA-Factory 2023年11月27日

我所使用的代码仓库是LLaMA-Factoryhiyouga/LLaMA-Factory:Easy-to-useLLMfine-tuningframework(LLaMA,BLOOM,Mistral,Baichuan
ygdzzx·2023-12-15 13:57

简述大模型微调方案：Prefix-Tuning Prompt-Tuning P-Tuning Lora QLora IA3 PEFT

PrefixTuning2021年斯坦福的研究人员在论文《Prefix-Tuning:OptimizingContinuousPromptsforGeneration》中提出了PrefixTuning方法
O&REO·2023-12-15 13:26

LLaMA-Factory微调ChatGLM3报错： Segmentation fault (core dumped)

\--model_name_or_pathmodels/chatglm3-6b\--do_train\--datasetself_cognition\--templatechatglm3\--finetuning_typelora
ybdesire·2023-12-15 13:19

不用再找，这是大模型 LLM 微调经验最全总结

大家好，今天对大模型微调项目代码进行了重构，支持ChatGLM和ChatGLM2模型微调的切换，增加了代码的可读性，并且支持Freeze方法、Lora方法、P-Tuning方法、「全量参数方法」微调。
Python算法实战·2023-12-15 02:32

预训练（pre-learning）、微调（fine-tuning）、迁移学习（transfer learning）

预训练（pre-learning）搭建一个网络模型来完成一个特定的图像分类的任务。首先，你需要随机初始化参数，然后开始训练网络，不断调整参数，直到网络的损失越来越小。在训练的过程中，一开始初始化的参数会不断变化。当你觉得结果很满意的时候，你就可以将训练模型的参数保存下来，以便训练好的模型可以在下次执行类似任务时获得较好的结果。这个过程就是pre-training。预训练模型：预训练模型就是已经用数
可keke·2023-12-14 13:04

模型微调技术

ParameterEfficientFineTuning(PEFT)和LowRankAdaptation(LoRA)是2种非常重要的模型微调方法。
LANWENBING·2023-12-06 21:13

小白理解GPT的“微调“（fine-tuning）

然而，OpenAI提供了一种叫做"微调"（fine-tuning）的方法，让我们可以在预训练好的模型基础上进行进一步的训练，使模型适应特定的任务或领域。
chunmiao3032·2023-12-06 20:52

机器学习中Fine-tuning应用实例

Fine-tuning（微调）是机器学习中一种常见的训练策略，其主要作用是在一个已经在大规模数据上预训练的模型基础上，通过使用特定任务的小规模数据集来进行额外的训练。
金木讲编程·2023-12-06 04:51

一文搞懂 chatGPT 原理

训练过程总览理清演化路径预训练(pretrain)GPT-3概述GPT3模型的理念GPT-3如何学习数据集指令微调(InstructionFine-Tuning，IFT)有监督微调(SupervisedFine-tuning
Python算法实战·2023-12-05 11:34

用通俗的方法讲解：大模型微调训练详细说明（附理论+实践代码）

本文内容如下介绍了大模型训练的微调方法，包括prompttuning、prefixtuning、LoRA、p-tuning和AdaLoRA等。
Python算法实战·2023-12-05 11:04

LLM | 一文了解大语言模型中的参数高效微调(PEFT)

ParameterEfficientFineTuning(PEFT)也就是参数高效微调，是一种用于微调大型语言模型（LLM）的方法，与传统方法相比，它有效地降低了计算和内存需求。
夏天｜여름이다·2023-12-05 11:52

linux根文件系统制作及NFS/镜像方式挂载实践总结

BusyboxmakemenuconfigBusyboxSettings--->BuildOptions--->[*]BuildBusyBoxasastaticbinary(nosharedlibs)BusyboxLibraryTuning
IT悟物穷理IT·2023-12-05 07:32

ClipCap【用到Prefix Tuning】

任务Imagecaptioning，即看图说话，对输入图像做有意义且有效的文字描述。应用可以是：目标检测。方法ClipCap使用CLIP的imageencoder（冻结）将图片转换为embedding；将embedding和学习得到的常量输入到mappingnetwork（轻量，基于transformer），得到Prefixembedding；（推理时）将Prefixembedding输入到语言模
电车上那个cll呀·2023-12-04 23:12
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他