TUNING

【时序分析】TimeGPT：首个时间序列分析基础大模型

1.2.1时间序列预测问题基础1.2.2TimeGPT架构1.2.3训练数据集1.2.4训练TimeGPT1.2.5不确定性量化1.2.6实验结果1.2.6.1Zero-shot推断1.2.6.2FineTuning1.2.6.3
镰刀韭菜·2023-12-23 14:39

自然语言处理阅读第三弹

LLM微调三种方法Prefix-Tuning/Prompt-Tuning:在模型的输入或隐层添加k个额外可训练的前缀tokens(这些前缀是连续的伪tokens,不对应真实的tokens),只训练这些前缀参数
u013308709·2023-12-23 10:17

论文阅读——llava

VisualInstructionTuningLLaVA指令智能体分为两类：端到端的，通过LangChain[1]/LLM[35]协调各种模型的系统。数据集生成用GPT辅助生成的，具体不写了。
じんじん·2023-12-23 06:39

【Active Learning - 02】Fine-tuning Convolutional Neural Networks for Biomedical Image Analysis...

主动学习系列博文：【ActiveLearning-00】主动学习重要资源总结、分享（提供源码的论文、一些AL相关的研究者）：https://blog.csdn.net/Houchaoqun_XMU/article/details/85245714【ActiveLearning-01】深入学习“主动学习”：如何显著地减少标注代价：https://blog.csdn.net/Houchaoqun_XM
Houchaoqun_XMU·2023-12-23 03:22

LLama Factory 安装部署实操记录（二）

1.项目地址GitHub-hiyouga/LLaMA-Factory:Easy-to-useLLMfine-tuningframework(LLaMA,BLOOM,Mistral,Baichuan,Qwen
瑾怀轩·2023-12-22 16:13

MoDS: Model-oriented Data Selection for Instruction Tuning

该论文主要通过模型驱动，实现自动筛选高质量的Instructiontuning数据选取，实现大模型的能够和人类的意图进行对齐。
Re:fused·2023-12-22 14:51

RLHF介绍及实践测试

下面是强化学习微调的完整RLHF流程：RLHF-Stage1是supervised-fintuning，即使用上文提到的数据集进行模型微调，目的是将大模型
Charles_yy·2023-12-21 21:32

论文和模型学习资料合集

TransferVisualPromptGeneratoracrossLLMs(NeurIPS2023)【OpenMMLab社区开放麦讲座】《颠覆性创新：多模态对话与精准区域分割-VPGTrans&NExT-Chat》已知问题没有用到“InstructTuning
songyuc·2023-12-20 22:52

高级调优：查找并修复 Elasticsearch 慢查询

原文链接https://www.elastic.co/cn/blog/advanced-tuning-finding-and-fixing-slow-elasticsearch-queriesElasticsearch
水的精神·2023-12-20 14:17

LLM Agent发展演进历史（观看metagpt视频笔记）

技术路径演进大致是：SSL(Self-SupervisedLearning)->SFT(SupervisedFineTune)==IT(InstructionTuning)->RLHF。
峰峰jack·2023-12-19 10:46

Continuous Optimization：从Prefix-tuning到更强大的P-Tuning V2

©作者|李国趸单位|浙江大学硕士生研究方向|少样本学习Prefix-Tuning论文标题：Prefix-Tuning:OptimizingContinuousPromptsforGeneration论文链接
PaperWeekly·2023-12-18 12:44

[LLM]nanoGPT---训练一个写唐诗的GPT

karpathy/nanoGPT:Thesimplest,fastestrepositoryfortraining/finetuningmedium-sizedGPTs.
舒克与贝克·2023-12-18 12:13

饥荒联机版Mod开发——modmain（五）

mods.luamodutil.lua传送门前言在modmain中我们可以通过PrefabFiles={“filename”}来注册预设物Assets={Asset(“type”,“file”)｝来注册所需资源TUNING
夏湾·2023-12-18 07:44

QLoRA论文概述

QLORA:EfficientFinetuningofQuantizedLLMsQLoRA论文概述前言（省流版本）摘要论文十问实验实验1数据集和模型实验结论实验2数据集和模型实验结论局限性模型尺度数据集其他微调方法
江小皮不皮·2023-12-18 03:06

谷歌笔记应用Notebook LM，添加Gemini Pro模型并扩大应用范围；Fine-Tuning预训练模型

AI新闻谷歌更新AI笔记应用NotebookLM，添加GeminiPro模型并扩大应用范围摘要：谷歌在今年5月推出的AI笔记应用NotebookLM进行了更新，主要添加了最新的GeminiPro模型，并扩大了应用使用范围。NotebookLM可以为用户生成笔记摘要等内容，并基于用户笔记上下文产生见解。谷歌还表示，开发人员使用了一系列模型确保用户得到快速而妥当的响应。不过，谷歌强调NotebookL
go2coding·2023-12-17 23:43

教会羊驼说话：Instruction Tuning的最新进展

Title:TeachLlamastoTalk:RecentProgressinInstructionTuningLink:https://gaotianyu.xyz/blog/2023/11/30/instruction-tuning
zenRRan·2023-12-17 19:26

阅读笔记——《Hopper: Interpretative Fuzzing for Libraries》

【参考文献】ZhanQ,FangR,BinduR,etal.RemovingRLHFProtectionsinGPT-4viaFine-Tuning[J].arXivpreprintarXiv:2311.05553,2023
恣睢s·2023-12-16 19:23

Chatglm2-6b-lora&ptuning微调实践2

Chatglm2-6B-lora&ptuning微调实践21.参考教程2.实践环境3.微调实战3.1环境安装3.2单gpu微调3.2.1lora微调**注意事项**1.lora微调代码2.lora微调代码所在位置
fengxiaoyangfeng·2023-12-16 16:33

通用大模型训练过程必须经历的四个阶段！

从该图可知大模型训练主要有4步：Pretraining—预训练阶段SupervisedFinetuning（SFT）—监督微调，也叫指令微调阶段RewardModeling—奖励模型训练阶段ReinforcementLearning
Python算法实战·2023-12-16 11:03

NLP论文解读：无需模板且高效的语言微调模型（上）

©原创作者|苏菲论文题目：Prompt-freeandEfficientLanguageModelFine-Tuning论文作者：RabeehKarimiMahabadi论文地址：https://openreview.net
NLP论文解读·2023-12-15 22:27

深度学习论文阅读：Generative Pre-Training(GPT)

GPTAbstract1Introduction6Conclusion2RelatedWork3Framework3.1Unsupervisedpre-trainingGPT和BERT的区别3.2Supervisedfine-tuning3.3Task-specificinputtransformations4Experiments
阿正的梦工坊·2023-12-15 22:06

re:Invent 2023 | 一家支持生成式 AI 的企业：亚马逊云科技的变革人工智能/机器学习

关键字:[AmazonWebServicesre:Invent2023,GenerativeAi,亚马逊云科技,ModelDevelopment,MachineLearning,FineTuning]本文字数
李白的好朋友·2023-12-15 19:56

【ChatGLM2-6B】问题解决cannot import name ‘Doc‘ from ‘typing_extensions‘

问题描述在运行ChatGLM2-6B大语言模型和使用P-Tuning训练的时候，出现如下错误cannotimportname'Doc'from'typing_extensions'问题原因因为安装的typing_extensions
太空眼睛·2023-12-15 18:00

【ChatGLM2-6B】P-Tuning训练微调

机器配置阿里云GPU规格ecs.gn6i-c4g1.xlargeNVIDIAT4显卡*1GPU显存16G*1准备训练数据进入/ChatGLM-6B/ptuningmkdirAdvertiseGencdAdvertiseGen
太空眼睛·2023-12-15 18:30

Java Performance Tuning

JavaPerformanceTuningJava(TM)-seebottomofpage|home|services|training|newsletter|tuningtips|toolreports
terax·2023-12-15 17:11

为什么说人人都需要掌握ChatGPT技术和应用？

最近直播超级多，预约保你有收获今晚直播：《ChatGPT架构设计与应用案例实践》—1—ChatGPT架构设计剖析ChatGPT总体架构由三大部分构成：预训练（Pre-training）架构、微调（Fine-tuning
musicml·2023-12-15 16:14

从原理到实现教你搞定大模型在线推理架构

大模型在线推理架构设计与实践》—1—大模型在线推理工程架构设计LLM大模型整体架构由离线和在线两部分构成（架构如下图所示），离线部分主要是基于Transformer架构的预训练（Pre-training）和微调（Fine-tuning
musicml·2023-12-15 16:03

LLaMA-Factory使用V100微调ChatGLM2报错 RuntimeError: “addmm_impl_cpu_“ not implemented for ‘Half‘

model_name_or_path/aaa/LLaMA-Factory/models/chatglm2-6b\--do_train\--datasetbbbccc\--templatechatglm2\--finetuning_typ
ybdesire·2023-12-15 13:01

baichuan-7B-chat微调报错及解决记录 使用的仓库：LLaMA-Factory 2023年11月27日

我所使用的代码仓库是LLaMA-Factoryhiyouga/LLaMA-Factory:Easy-to-useLLMfine-tuningframework(LLaMA,BLOOM,Mistral,Baichuan
ygdzzx·2023-12-15 13:57

简述大模型微调方案：Prefix-Tuning Prompt-Tuning P-Tuning Lora QLora IA3 PEFT

PrefixTuning2021年斯坦福的研究人员在论文《Prefix-Tuning:OptimizingContinuousPromptsforGeneration》中提出了PrefixTuning方法
O&REO·2023-12-15 13:26

LLaMA-Factory微调ChatGLM3报错： Segmentation fault (core dumped)

\--model_name_or_pathmodels/chatglm3-6b\--do_train\--datasetself_cognition\--templatechatglm3\--finetuning_typelora
ybdesire·2023-12-15 13:19

不用再找，这是大模型 LLM 微调经验最全总结

大家好，今天对大模型微调项目代码进行了重构，支持ChatGLM和ChatGLM2模型微调的切换，增加了代码的可读性，并且支持Freeze方法、Lora方法、P-Tuning方法、「全量参数方法」微调。
Python算法实战·2023-12-15 02:32

预训练（pre-learning）、微调（fine-tuning）、迁移学习（transfer learning）

预训练（pre-learning）搭建一个网络模型来完成一个特定的图像分类的任务。首先，你需要随机初始化参数，然后开始训练网络，不断调整参数，直到网络的损失越来越小。在训练的过程中，一开始初始化的参数会不断变化。当你觉得结果很满意的时候，你就可以将训练模型的参数保存下来，以便训练好的模型可以在下次执行类似任务时获得较好的结果。这个过程就是pre-training。预训练模型：预训练模型就是已经用数
可keke·2023-12-14 13:04

模型微调技术

ParameterEfficientFineTuning(PEFT)和LowRankAdaptation(LoRA)是2种非常重要的模型微调方法。
LANWENBING·2023-12-06 21:13

小白理解GPT的“微调“（fine-tuning）

然而，OpenAI提供了一种叫做"微调"（fine-tuning）的方法，让我们可以在预训练好的模型基础上进行进一步的训练，使模型适应特定的任务或领域。
chunmiao3032·2023-12-06 20:52

机器学习中Fine-tuning应用实例

Fine-tuning（微调）是机器学习中一种常见的训练策略，其主要作用是在一个已经在大规模数据上预训练的模型基础上，通过使用特定任务的小规模数据集来进行额外的训练。
金木讲编程·2023-12-06 04:51

一文搞懂 chatGPT 原理

训练过程总览理清演化路径预训练(pretrain)GPT-3概述GPT3模型的理念GPT-3如何学习数据集指令微调(InstructionFine-Tuning，IFT)有监督微调(SupervisedFine-tuning
Python算法实战·2023-12-05 11:34

用通俗的方法讲解：大模型微调训练详细说明（附理论+实践代码）

本文内容如下介绍了大模型训练的微调方法，包括prompttuning、prefixtuning、LoRA、p-tuning和AdaLoRA等。
Python算法实战·2023-12-05 11:04

LLM | 一文了解大语言模型中的参数高效微调(PEFT)

ParameterEfficientFineTuning(PEFT)也就是参数高效微调，是一种用于微调大型语言模型（LLM）的方法，与传统方法相比，它有效地降低了计算和内存需求。
夏天｜여름이다·2023-12-05 11:52

linux根文件系统制作及NFS/镜像方式挂载实践总结

BusyboxmakemenuconfigBusyboxSettings--->BuildOptions--->[*]BuildBusyBoxasastaticbinary(nosharedlibs)BusyboxLibraryTuning
IT悟物穷理IT·2023-12-05 07:32

ClipCap【用到Prefix Tuning】

任务Imagecaptioning，即看图说话，对输入图像做有意义且有效的文字描述。应用可以是：目标检测。方法ClipCap使用CLIP的imageencoder（冻结）将图片转换为embedding；将embedding和学习得到的常量输入到mappingnetwork（轻量，基于transformer），得到Prefixembedding；（推理时）将Prefixembedding输入到语言模
电车上那个cll呀·2023-12-04 23:12

P-Tuning v2论文概述

P-Tuningv2论文概述P-Tuningv2论文概述前言微调的限制性P-Tuning的缺陷P-Tuningv2摘要论文十问NLU任务优化点实验数据集预训练模型实验结果消融实验结论P-Tuningv2
江小皮不皮·2023-12-04 00:40

Prefix-Tuning 论文概述

Prefix-Tuning论文概述前缀调优：优化生成的连续提示前言摘要论文十问实验数据集模型实验结论摘要任务泛化性能前缀调优：优化生成的连续提示前言大规模预训练语言模型(PLM)在下游自然语言生成任务中广泛采用
江小皮不皮·2023-12-04 00:39

HuggingFace学习笔记--Prompt-Tuning高效微调

1--Prompt-Tuning介绍Prompt-Tuning高效微调只会训练新增的Prompt的表示层，模型的其余参数全部固定；新增的Prompt内容可以分为HardPrompt和SoftPrompt
晓晓纳兰容若·2023-12-03 15:42

HuggingFace学习笔记--BitFit高效微调

1--BitFit高效微调BitFit，全称是bias-termfine-tuning，其高效微调只去微调带有bias的参数，其余参数全部固定；2--实例代码fromdatasetsimportload_from_diskfromtransformersimportAutoTokenizer
晓晓纳兰容若·2023-12-03 15:39

清华提出 SoRA，参数量只有 LoRA 的 70%，表现更好！

在先前的工作中，全量微调的训练代价昂贵、AdapterTuning的训练和推理存在延迟，PrefixTuning会减少原始训练数据中的有效文字长度，因此有人提出使用低秩微调LoRA，在原始预训练矩阵的旁路上
夕小瑶·2023-12-02 07:34

目标检测——Fast R-CNN算法解读

1504.08083代码：https://github.com/rbgirshick/fast-rcnn目录1、算法概述2、FastR-CNN细节2.1TheRoIpoolinglayer2.2Fine-tuningfordetection2.3FastR-CNNdetection3
lishanlu136·2023-12-02 07:54

Transfer learning using Pytorch

迁移学习的两种基本应用场景：1模型初始化又叫做finetuning，一般的模型初始化是一个随机初始，但是使用训练好的参数作为初始化，可能模型会更快的收敛和有更好的表现性能。
十年磨剑_莫回首·2023-12-01 22:39

基于P-Tuning v2微调ChatGLM2-6B的操作步骤（环境已设置好）

1.P-Tuningv2结2.具体操作步骤如下：步骤1.sourceactivate（condaenvlist）condaactivatetorch1.13pipinstallrouge_chinesenltkjiebadatasetscondaactivatechatglm2
zrdsunshine·2023-12-01 22:20

Camera图像效果调试

CameraTuning工具使用说明1，Cameratuningpipeline：2，Cameratuningtoolconnection：2.1，sever端：2.1.1板端要连接Ethernet或者
孤舟簔笠翁·2023-12-01 17:08
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他