tuning

ChatGLM-6B微调与部署

命令行Demo基于Gradio的网页版Demo基于Streamlit的网页版Demo基于peft框架的LoRA微调ChatGLM-6B配置环境与准备配置环境模型文件准备数据准备数据处理微调过程基于P-Tuningv2
dzysunshine·2023-06-13 15:48

对抗样本-（CVPR‘2021) 通过方差调优（Variance Tuning）提升对抗样本的迁移性

文章目录出处问题方法代码出处论文发表于CVPR2021论文地址：点击论文代码：点击问题背景：深度神经网络容易受到对抗样本的攻击，这些攻击通过不可察觉的扰动欺骗模型。解决的问题：虽然白盒攻击已经取得了惊人的成功率，但大多数现有的攻击在黑盒情况下往往表现出较弱的迁移性，特别是在攻击具有防御机制的模型时。提出的方法：在本文中，我们提出一种名为方差调整的新方法，来增强迭代梯度攻击方法的攻击迁移能力。具体而
算法黑哥·2023-06-13 12:01

[论文阅读73]Prefix-Tuning：Optimizing Continuous Prompts for Generation

1.基本信息题目论文作者与单位来源年份Prefix-Tuning：OptimizingContinuousPromptsforGenerationXiangLisaLi等StanfordUniversityAnnualMeetingoftheAssociationforComputationalLinguistics2021Citations1009
happyprince·2023-06-13 10:10

[论文阅读笔记74]The Power of Scale for Parameter-Efficient Prompt Tuning

1.基本信息题目论文作者与单位来源年份ThePowerofScaleforParameter-EffificientPromptTuningBrianLester等googleConferenceonEmpiricalMethodsinNaturalLanguageProcessing2021857Citations
happyprince·2023-06-13 10:10

[论文阅读笔记75]P-Tuning v2

1.基本信息题目论文作者与单位来源年份P-Tuningv2:PromptTuningCanBeComparabletoFine-tuningUniversallyAcrossScalesandTasksXiaoLiu
happyprince·2023-06-13 10:10

[论文阅读笔记76]GPT Understands, Too(P-tuning)

pdf/2103.10385.pdf论文代码：2.要点研究主题问题背景核心方法流程亮点数据集结论论文类型关键字微调大模型采用传统微调的gpt在自然语言理解（NLU）方面未能取得良好的效果，所以提出了P-tuning.LAMA
happyprince·2023-06-13 10:09

Prefix Tuning：详细解读Optimizing Continuous Prompts for Generation

DiffusionModels专栏文章汇总：入门与实战前言：大语言模型实在是太火了，各种技术日新月异，研究diffusionmodels的从LLMs中找一些研究灵感已经是基操了。当模型比较小的时候，微调全部参数还是可以的。但是现在的大预训练模型时代，微调所有参数不仅效果堪忧，对资源的消耗也非常恐怖，所以这就是做有效微调的初衷。为了研究清楚如何进行有效的大模型微调，我打算沿着AdapterTunin
沉迷单车的追风少年·2023-06-13 09:53

【基于PyTorch实现经典网络架构的花卉图像分类模型】

数据预处理工作2.1导入工具包2.2数据增强策略（DataAugmentation）2.3数据读入2.3.1训练集与验证集读入2.3.2json文件读入3.模型的建立与训练3.1迁移学习3.1.1微调（fine-tuning
星未漾~·2023-06-13 06:12

大模型LLM-微调经验分享&总结

模型越大对显卡的要求越高，目前主流对大模型进行微调方法有三种：Freeze方法、P-Tuning方法和Lora方法。笔者也通过这三种方法，在信息抽取任务上，对ChatGLM-6B大模型进行模型微调。
思考实践·2023-06-13 05:33

【NAACL 2022】IDPG: An Instance-Dependent Prompt Generation Method 略读

论文代码Overview根据prompt-tuning的方法，针对句子对任务，我们构建如下输入：针对单句子的任务，我们构建如下输入：EEE表示单词的embedding，SSS表示句子。
--JinJIKIKO--·2023-06-13 00:59

【Coling 2022】Context-Tuning: Learning Contextualized Prompts for Natural Language Generation

如何根据上下文生成好的prompt？摘要近年来，预训练语言模型在语言生成方面取得了很大的成功。为了利用预训练语言模型中丰富的知识，一种简单而强大的范式是使用离散token形式或连续embedding形式的prompt。然而，在当前的研究中，这些prompt通常独立于输入，缺乏对于输入语义的充分考虑。为了解决问题，本文提出一种新颖的，基于连续embedding的prompt方法，即context-t
--JinJIKIKO--·2023-06-13 00:58

InstructGPT：Training language models to follow instructions with human feedback

Traininglanguagemodelstofollowinstructionswithhumanfeedback通过人类反馈的微调，在广泛的任务中使语言模型与用户的意图保持一致aligninglanguagemodelswithuserintentonawiderangeoftasksbyfine-tuningwithhumanfeedback
YingJingh·2023-06-12 17:11

【Huggingface系列学习】Finetuning一个预训练模型

文章目录ProcessingthedataLoadadatasetfromtheHubPreprocessingadatasetDynamicpaddingFine-tuningamodelwiththeTrainerAPITrainingEvaluationTrainer
长命百岁️·2023-06-12 17:04

BERT和Transformer理解及测试（三）

FINETUNNNG---分类&SQuAD的问题Googlefine-tuningwithbertBert-large的结果用12-16GB显存的GPU是无法复现结果的Bert-base的结果最少12GB
愿better·2023-06-12 13:42

论文阅读之Parameter-Efficient Transfer Learning for NLP（2019）

文章目录AbstractIntroductionAdaptertuningforNLPExperiments总结参考论文名称翻译过来就是“NLP的参数有效迁移学习”，其实就是是目前火热promptlearning
Icy Hunter·2023-06-12 08:55

035_SS_Prompt Tuning Inversion for Text-Driven Image Editing Using Diffusion Models

035_SSS_PromptTuningInversionforText-DrivenImageEditingUsingDiffusionModels1.Motivations&Arguments本文要利用
Artificial Idiots·2023-06-12 02:37

基于prefix tuning + Bert的标题党分类器

文章目录背景一、Prefix-Tuning介绍二、分类三、效果四、参阅背景近期,CSDN博客推荐流的标题党博客又多了起来,先前的基于TextCNN版本的分类模型在语义理解上能力有限,于是,便使用的更大的模型来优化
ToTensor·2023-06-11 21:33

【大模型】开源大模型汇总以及微调策略

LLaMAstanfordAlpacaGuanacoVicunaChinese-LLaMA-AlpacaChinese-VicunaLuotuo-ChineseFalconOpenBuddy-FalconChatGLM&&VisualGLMMOSSAquilaPandaGPTTigerBot模型微调策略LoRAQLORAP-tuningv2
桐原因·2023-06-10 16:29

大模型LLM-微调经验分享&总结

项目地址：https://github.com/liucongg/ChatGLM-FinetuningC
MrRoose·2023-06-10 16:44

基于VITS-fast-fine-tuning构建多speaker语音训练

1VITS模型介绍VITS（VariationalInferencewithadversariallearningforend-to-endText-to-Speech）是一种语音合成方法，它使用预先训练好的语音编码器(vocoder声码器)将文本转化为语音。VITS的工作流程如下：（1）将文本输入VITS系统，系统会将文本转化为发音规则。（2）将发音规则输入预先训练好的语音编码器(vocoder
AI医疗·2023-06-09 22:36

ChatGLM + PEFT 进行finetune

kingglory/ChatGLM-Efficient-Tuning一、前言1.1硬件需求注：r为LoRA维数大小，p为前缀词表大小，l为微调层数，ex/s为每秒训练的样本数。
桂花很香,旭很美·2023-06-09 11:53

ChatGLM-6B微调，P-Tuning，LoRA，Full parameter

【官方教程】ChatGLM-6B微调：P-Tuning，LoRA，Fullparameter_哔哩哔哩_bilibili我们详细介绍了GLM的技术背景，以及ChatGLM-6B的微调方案，包括P-tuning
Kun Li·2023-06-09 08:52

tensorflow实践—微调AlexNet

根据AlexNet模型做出微调https://kratzert.github.io/2017/02/24/finetuning-alexnet-with-tensorflow.html（原文出处）正文为黑色
Pierce_KK·2023-06-09 03:57

GPT 探索

实现方案自建专属模型根据自有数据源，把GPT训练成我们自用的模型，需要走微调（finetuning），目前gpt-3.5-turbo暂不开放微调，但用可以GPT3（text-davinci-003）的模型
python算法工程师·2023-06-08 21:59

Fine-Tuning Language Models from Human Preferences

PapernameFine-TuningLanguageModelsfromHumanPreferencesPaperReadingNotePaperURL:https://arxiv.org/pdf/
kebijuelun·2023-06-08 20:48

【奶奶看了都会】云服务器ChatGLM模型fine-tuning微调，让你拥有自己的知识库

1.背景大家好啊，上次给大家写了ChatGLM-6B的部署使用教程，【奶奶看了都会】云服务器部署开源ChatGLM-6B，让你拥有自己的ChatGPT但是因为模型比较小的问题，所以日常工作中可能用不上。而且大家更希望的是模型能训练自己的数据，为自己服务。比如：公司内部用自己的知识库数据进行微调，训练成内部知识问答机器人，这样对于各种业务问题答疑，机器人立马就能给出对应的答案，比单纯的问题搜索好太多
卷福同学·2023-06-08 07:55

ChatGLM服务器部署微调（二）

ChatGLM服务器部署微调（二）修改train.sh修改evaluate.sh训练评估结果对比问题待解决修改train.sh修改train_file比如我的结构为原本ptuning下面建一个bz_tq
丁不瓦·2023-06-08 07:16

多线程与高并发cas问题

由操作系统源语保证的不会v==m）m++}其实无所的操作的原理是乐观锁对比测试syncLong、AtomicLong、LongAdder三种count++的方式的速度packagecom.zkj.mca.LockTuning
lfssst·2023-06-08 04:17

确定Oracle SQL语句性能瓶颈

9.1.分析Cost方法9.1.1.方法说明SQL调优（SQLTUNING），就是在SQL语句执行计划中，发现浪费大量系统资源的节点，然后，想办法降低该节点对系统资源的消耗，以使其不再浪费系统资源。
lhdz_bj·2023-06-07 17:04

基于 ChatGLM-6B 搭建个人专属知识库

ChatGLM-6B部署与P-Tuning微调实战今天树先生教大家无需微调就能实现垂直领域的专业问答，利用ChatGLM-6B+lang
程序员树先生·2023-06-07 16:47

BERT网络的原理与实战

BERT网络的原理与实战一、简介二、原理1.Transformer2.BERT2.1MLM2.2NSP3.Fine-tuning三、实战1.数据集2.预处理3.模型训练一、简介BERT（BidirectionalEncoderRepresentationsfromTransformers
CyrusMay·2023-06-07 14:07

【科研小小白的神经网络Day3】什么是超参数？阅读优化函数时遇到的疑问

超参数：也是机器学习算法中的调优参数（tuningparameters）或框架参数，模型外部的配置，不需要数据来驱动，而是在训练前或者训练中人为进行设定和调整，一般需要为它根据已有或现有的经验指定“正确
imblackcat·2023-06-07 12:52

清华Decoder Tuning方法提升大模型few-shot场景效果

一、概述title：DecoderTuning:EfficientLanguageUnderstandingasDecoding论文地址：https://arxiv.org/abs/2212.08408
HxShine·2023-06-07 10:24

ACL2022 | 大模型微调哪家好？小孩子才做选择，成年人当然是全都要

一、概述title：UNIPELT:AUnifiedFrameworkforParameter-EfficientLanguageModelTuning论文地址：https://arxiv.org/abs
HxShine·2023-06-07 10:23

EMLP2021 ｜ Google大模型微调经典论文prompt tuning

一、概述title：ThePowerofScaleforParameter-EfficientPromptTuning论文地址：https://arxiv.org/abs/2104.08691代码：GitHub-google-research
HxShine·2023-06-07 10:23

QLoRA | 48G内存训练24小时，改进版4-bit量化技术微调650亿参数的模型达到chatgpt99.3%的效果

一、概述title：QLORA:EfficientFinetuningofQuantizedLLMs论文地址：https://arxiv.org/pdf/2305.14314.pdf代码：GitHub-artidoro
HxShine·2023-06-07 10:39

使用 Amazon SageMaker 运行基于 LoRA 的 Stable Diffusion fine tuning 及推理

什么是LoRA很多小伙伴接触LoRA是StableDiffusion的LoRA模型，用于人物和风格训练，但本质上LoRA并不专为StableDiffusion服务。LoRA英文全称Low-RankAdaptationofLargeLanguageModels，是微软开源的解决大模型微调而开发的一项技术。大模型参数规模巨大，比如GPT-3有1750亿参数，对这类大模型进行微调成本太高，LoRA的做法
亚马逊云开发者·2023-06-07 08:32

pytorch-lightning遇到ModelCheckpoint不能保存模型

目前实现的ModelCheckpoint如下checkpoint_callback=ModelCheckpoint(os.path.join(f'runs_fine_tuning/{args.expname
weixin_45009203·2023-06-07 07:53

【奶奶看了都会】云服务器ChatGLM模型fine-tuning微调，让你拥有自己的知识库

1.背景大家好啊，上次给大家写了ChatGLM-6B的部署使用教程，【奶奶看了都会】云服务器部署开源ChatGLM-6B，让你拥有自己的ChatGPT但是因为模型比较小的问题，所以日常工作中可能用不上。而且大家更希望的是模型能训练自己的数据，为自己服务。比如：公司内部用自己的知识库数据进行微调，训练成内部知识问答机器人，这样对于各种业务问题答疑，机器人立马就能给出对应的答案，比单纯的问题搜索好太多
·2023-06-06 22:02

一段声音的旅程（八）语音的唤醒与识别

特点就是，在适配过后的信号处理五大因素中有任何一个发生不可忽略的变化，都建议再适配一遍，我们称这个适配调优的工作为“tuning”。一般来说，tuning过的硬件，直到硬件生命终结，都不需
秋观天象·2023-04-21 17:09

大模型（LLM）训练微调综述学习

总览介绍大模型训练的微调方法，包括prompttuning、prefixtuning、LoRA、p-tuning和AdaLoRA等。介绍使用deepspeed和LoRA进行大模型训练的相关代码。
桂花很香,旭很美·2023-04-21 16:07

一分钟搞懂 微调(fine-tuning)和prompt

一分钟搞懂微调fine-tuning和prompt区别与联系区别联系优缺点微调的优点微调的缺点prompt的优点prompt的缺点在CV领域Reference大家都是希望让预训练语言模型和下游任务靠的更近
沃洛德.辛肯·2023-04-21 05:41

0303 Performance Tuning

转载请注明出处，谢谢合作～该篇中的示例暂时只有Scala版本～性能调优在内存中缓存数据（CachingDataInMemory）其他配置项（OtherConfigurationOptions）SQL查询连接策略提示（JoinStrategyHintsforSQLQueries）SQL查询合并提示（CoalesceHintsforSQLQueries）自适应查询引擎（AdaptiveQueryExe
Whaatfor·2023-04-21 00:55

Visual Instruction Tuning: 用LLaVA近似多模态GPT-4

VisualInstructionTuningwithGPT-4!
PaperWeekly·2023-04-20 19:52

XLNet Fine-Tuning Tutorial with PyTorch

前言在本教程中，我将向您展示如何使用huggingfacePyTorch库对预先训练好的XLNet模型进行调整，以快速生成用于文本分类的分类器。Introduction这篇文章有两种形式——一种是博客，另一种是Colabnotebook。内容是相同的，但:博客文章格式可能更容易阅读，并包含一个讨论的评论部分。ColabNotebook允许您运行代码并在阅读过程中检查它。WhatisXLNet?XL
学人工智能的皮皮虾·2023-04-20 17:45

每日学术速递4.19

CV-计算机视觉|ML-机器学习|RL-强化学习|NLP自然语言处理Subjects:cs.CV1.VisualInstructionTuning标题：可视化指令调优作者：HaotianLiu,ChunyuanLi
AiCharm·2023-04-20 15:52

引入Tuning function design的自适应反步控制方法 下篇

引入Tuningfunctiondesign的自适应反步控制方法下篇目录引入Tuningfunctiondesign的自适应反步控制方法下篇利用Turningfunction解决高阶不匹配系统的控制器设计问题问题描述控制器设计小结总结上一篇文章写了如何通过推迟参数设计的方法来解决不匹配条件下的系统反步控制设计
ADi_hhh·2023-04-19 19:36

引入Tuning function design的自适应反步控制方法 上篇

引入Tuningfunctiondesign的自适应反步控制方法上篇目录引入Tuningfunctiondesign的自适应反步控制方法上篇尝试用推迟参数设计解决高阶不匹配系统的控制器设计问题问题描述控制器设计小结上一篇文章写了如何通过推迟参数设计的方法来解决不匹配条件下的系统反步控制设计
ADi_hhh·2023-04-19 19:36

pcb连线为什么不会阻止_PCB设计者必看，18种特殊走线的画法与技巧

01AD布蛇形线方法Tool里选Interactivelengthtuning要先布好线再改成蛇形，这里用的是布线时直接走蛇形：先P->T布线，再Shift+A切换成蛇形走线。
weixin_39640265·2023-04-19 16:05

PCB风骚走位画法与技巧

大牛风骚走位画法与技巧(qq.com)https://mp.weixin.qq.com/s/a7pjDUjyCMfDIjc4ek-S6Q01AD布蛇形线方法Tool里选Interactivelengthtuning
zhengyad123·2023-04-19 16:59
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他