TUNING

底座（基座）模型是如何训练的？

我们把LLM的基本训练步骤分为两步，预训练和对齐；预训练我们非常熟悉，是bert-finetuning时代的基本原理，只不过LLM一般遵循自回归的逻辑，因此使用GPT模型的预训练方式：CLM（具备因果关系的
张牧之的AI课·2023-11-09 07:34

Tensorflow加载预训练模型和保存模型（ckpt文件）以及迁移学习finetuning

使用tensorflow过程中，训练结束后我们需要用到模型文件。有时候，我们可能也需要用到别人训练好的模型，并在这个基础上再次训练。这时候我们需要掌握如何操作这些模型数据。看完本文，相信你一定会有收获！1Tensorflow模型文件我们在checkpoint_dir目录下保存的文件结构如下：|--checkpoint_dir||--checkpoint||--MyModel.meta||--MyM
AI视觉网奇·2023-11-09 03:42

【ChatGLM2-6B微调】6GB显存实现ChatGLM2-6B大模型微调！

本文做清华官方代码包中自带的ptuning微调方式实践。（如下图所见，使用的是int4量化模型）这个可以参照我发布的博文《清华ChatGLM2-6B一键式部署，无需自行安装依赖环境！！》
yurous·2023-11-08 20:48

ChatGLM-6B部署、实战与微调

文章目录摘要下载chatglm-6b下载模型文件推理代码调用网页版的Demo网页版的Demo2命令行Demo部署API部署低成本部署模型量化CPU部署Mac部署多卡部署训练与微调软件依赖下载数据集训练P-Tuningv2
静静AI学堂·2023-11-08 20:45

转载：计算机视觉Paper with code-2023.10.31

【基础网络架构】（NeurIPS2023）FastTrainableProjectionforRobustFine-Tuning论文地址：https://arxiv.org//pdf/2310.19182
wuling129·2023-11-08 14:21

AutoGPT与ChatGPT插件开发(三)

.环境准备3.OpenAi接口调用三、实现定制化AutoGPT1.生成文件2.连接外网查询3.AutoGPTCommand原理四、知识拓展1.大模型应用开发-LangChain2.微调模型-fine-tuning3
罒王大虎·2023-11-07 08:05

Data security.隐私保护 -【论文阅读】Privacy-Preserving Prompt Tuning for Large Language Model Services论文解读

Datasecurity.隐私保护-【论文阅读】Privacy-PreservingPromptTuningforLargeLanguageModelServices论文解读目录Datasecurity
Adongua·2023-11-07 05:07

An Empirical Study of Instruction-tuning Large Language Models in Chinese

本文是LLM系列文章，针对《AnEmpiricalStudyofInstruction-tuningLargeLanguageModelsinChinese》的翻译。
UnknownBody·2023-11-07 03:08

【LLM】预训练||两句话明白儿的底层原理

这样的理解基本上是对的，预训练模型的训练和使用分别对应两个阶段：预训练阶段（pre-training）和微调（fune-tuning）阶段。
思考实践·2023-11-05 16:01

Oracle OCP 19c 认证1Z0-083考试(96-100题) #已上传

youdeterminedthebackupistakingtoolongandsuspectaperformancebottleneck.Whichthreearetrueaboutdiagnosingandtuningtheseproblems
wwwleoocom·2023-11-05 15:06

Instruction Tuning for Large Language Models_ A Survey

Abstract本文综述了快速发展的指令微调(IT)领域的研究工作，IT是增强大型语言模型(LLM)的能力和可控性的关键技术。指令调优是指通过使用(INSTRUCTION,OUTPUT)数据对大型语言模型进行有监督的进一步训练，以实现模型在遵循人类指令方面与其下一个单词预测目标之间的衔接。在这项工作中，我们对文献进行了系统回顾，包括指令调优的一般方法论、指令调优数据集的构建、指令调优模型的训练，以
藏星万朵·2023-11-05 14:07

【文生图】Stable Diffusion XL 1.0模型Full Fine-tuning指南（U-Net全参微调）

文章目录前言重要教程链接以海报生成微调为例总体流程数据获取POSTER-TEXTAutoPosterCGL-DatasetPKUPosterLayoutPosterT80KMovie&TVSeries&AnimePosters数据清洗与标注模型训练模型评估生成图片样例宠物包商品海报护肤精华商品海报一些TipsMata：EMU（ExpressiveMediaUniverse）ideogramDALL
liuz_notes·2023-11-05 14:35

GPT系列发展及技术：GPT1到GPT3的发展，InstructGPT的RLHF流程，GPT４

目录GPT系列前言Transformertransformer的代码实现Transformer位置编码具体结构BERT--EncoderGPT--Decoder微调方法--fine-tuningVSPromptingGPT1
榴莲_·2023-11-04 20:06

我的大语言模型微调踩坑经验分享

然后再对模型进行finetuning来更好满足自己的下游任务
机器学习社区·2023-11-04 11:05

论文研读｜An Embarrassingly Simple Approach for Intellectual Property Rights Protection on RNNs

目录论文信息文章简介研究动机研究方法白盒水印水印信号构造黑盒水印触发集构造水印嵌入实验结果保真度&有效性鲁棒性抗移除攻击（RemovalAttack）抗模型剪枝（ModelPruning）抗微调攻击（Fine-Tuning
_Meilinger_·2023-11-04 02:22

Langchain-Chatchat项目：4.2-P-Tuning v2使用的数据集

  本文主要介绍P-tuning-v2论文中的5种任务，分别为Glue任务、NER任务、QA任务、SRL任务、SuperGlue任务，重点介绍了下每种任务使用的数据集。
NLP工程化·2023-11-03 23:14

论文阅读：One Embedder, Any Task: Instruction-Finetuned Text Embeddings

这篇文章的重点就是提升embedding在不同任务和领域上的效果，特点是不需要用特定领域的数据进行finetune而是使用instuctionfinetuning就可以在不同的任务和领域上表现得很好。
comli_cn·2023-11-03 18:26

XGBoost调参指南

本文内容结构主要参考CompleteGuidetoParameterTuninginXGBoostwithcodesinPython及其中文翻译XGBoost参数调优完全指南。
井底蛙蛙呱呱呱·2023-11-03 16:34

cartographer扫图及调参，调试总结技巧

cartographer的调参很复杂，去cartographer_ros的网页上看看谷歌自己写的tuningmethods，单说cartographer的调参，先要确定自己用的主控板或者工控机性能怎么样
kobesdu·2023-11-03 15:14

LSH 复习（考试向）

LSHReviewOverallMinhashSignaturesBinaryMatrix（bit-vector）ConstructMinHashmatrixGeneratesimulatedpermutationsJaccardsimilaritiesTuningParametersforrNNSOverallhash
nine_mink·2023-11-03 14:42

05.大模型&大数据量

EmergentAbility（涌动现象）CalibrationInverseScalingPrizeSwitchTransformers大数据量数据预处理去重模型大小与训练数据的选择Instruction-tuningHumanTeachingKNNLM
oldmao_2000·2023-11-03 02:58

LIST: LITE SELF-TRAINING MAKES EFFICIENT FEW-SHOT LEARNERS

第一种是使用self-training，利用大量unlabeleddata进行prompt-tuning，以在few-shot设置下显著提高模型性能。
Tsukinousag·2023-11-03 00:37

GPT实战系列-ChatGLM2模型的微调训练参数解读

GPT实战系列-ChatGLM2模型的微调训练参数解读目录GPT实战系列-ChatGLM2模型的微调训练参数解读ChatGLM2模型1、P-Tuning模型微调2、微调训练配置参数train.sh中配置参数训练配置信息模型配置信息附录
Alex_StarSky·2023-11-02 22:57

LLM大语言模型训练中常见的技术：微调与嵌入

微调（Fine-Tuning）：微调是一种用于预训练语言模型的技术。在预训练阶段，语言模型（如GPT-3.5）通过大规模的文本数据集进行训练，从而学会了语言的语法、语义和世界知识。
MavenTalk·2023-11-02 15:07

【AI视野·今日Robot 机器人论文速览 第六十一期】Tue, 24 Oct 2023

AI视野·今日CS.Robotics机器人学论文速览Tue,24Oct2023Totally50papers上期速览✈更多精彩请移步主页DailyRoboticsPapersRobotFine-TuningMadeEasy
hitrjj·2023-11-02 02:24

2023-arxiv-LLaMA-Adapter Efficient Fine-tuning of Language Models with Zero-init Attention

2023-arxiv-LLaMA-AdapterEfficientFine-tuningofLanguageModelswithZero-initAttentionPaper:https://arxiv.org
发呆的比目鱼·2023-11-01 11:38

2023-ICLR-Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning

2023-ICLR-AdaptiveBudgetAllocationforParameter-EfficientFine-TuningPaper:https://openreview.net/forum
发呆的比目鱼·2023-11-01 11:54

Instruct and Extract: Instruction Tuning for On-Demand Information Extraction

本文是LLM系列文章，针对《InstructandExtract:InstructionTuningforOn-DemandInformationExtraction》的翻译。
UnknownBody·2023-11-01 11:06

Tuna: Instruction Tuning using Feedback from Large Language Models

本文是LLM系列文章，针对《Tuna:InstructionTuningusingFeedbackfromLargeLanguageModels》的翻译。
UnknownBody·2023-11-01 11:05

为什么说大模型微调是每个人都必备的核心技能？

▼最近直播超级多，预约保你有收获近期直播：《基于开源LLM大模型的微调（Finetuning）实战》0—为什么要对LLM大模型进行微调（Finetuning）？
musicml·2023-11-01 05:30

基于微调技术打造自己的私有LLM大模型

▼最近直播超级多，预约保你有收获近期直播：《基于开源LLM大模型的微调（Finetuning）实战》ChatGPT是“大力出奇迹”的典型代表，通过千亿级训练参数带来惊人的智能，但大模型并不完美，甚至一些在我们看来很简单的任务都完成不了
musicml·2023-11-01 05:00

AGENTTUNING：为LLM启用广义的代理能力

背景翻译智谱这篇文章的初衷是，智谱推出了他们所谓的第三代大模型。这第三代的特点在哪呢：个人总结主要有一下几个点：1.用特定prompt方式自闭环方式解决安全注入问题2.增加了模型functioncall、agent能力3.具备代码能力4.做了能力对齐、安全对齐总结一句话就是：增强模型泛化的能力（包括agent、代码工具使用能力），加强模型安全能力（能力被黑、道德被黑）做了能力对齐的工作。这篇文章介
远洋之帆·2023-11-01 02:14

ubuntu18.4（后改为20.4）部署chatglm2并进行基于 P-Tuning v2 的微调

下载驱动NVIDIA显卡驱动官方下载地址下载好对应驱动并放在某个目录下，在Linux系统中安装NVIDIA显卡驱动前,建议先卸载Linux系统自带的显卡驱动nouveau。禁用nouveau首先，编辑黑名单配置。vim/etc/modprobe.d/blacklist.conf在文件的最后添加下面两行。blacklistnouveauoptionsnouveaumodeset=0然后，输入下面的命
小草cys·2023-10-31 02:10

P-Tuning 源码分析

P-Tuning源码分析classPromptEncoder(torch.nn.Module):"""```py>>>frompeftimportPromptEncoder,PromptEncoderConfig
发呆的比目鱼·2023-10-30 11:31

2021-arxiv-GPT Understands, Too

2021-arxiv-GPTUnderstands,TooPaper：https://arxiv.org/abs/2103.10385Code：https://github.com/THUDM/P-tuningPrompt
发呆的比目鱼·2023-10-30 11:30

2022-arxiv-P-Tuning v2 Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and

2022-arxiv-P-Tuningv2PromptTuningCanBeComparabletoFine-tuningUniversallyAcrossScalesandTasksP-Tuningv2
发呆的比目鱼·2023-10-30 11:00

机器学习-44-Transfer Learning(迁移学习)

Overview(概述)TargetDatalabelled&SourceDatalabelledModelFine-tuning(模型微调)ConservativeTraining(保守训练)LayerTransfer
迷雾总会解·2023-10-29 20:51

论文阅读——MC-BERT

ConceptualizedRepresentationLearningforChineseBiomedicalTextMining本文介绍本文动机相关工作本文方法1、整个实体MASK2、全跨度Masking3、在生物医学领域的进一步预训练实验1、预训练数据和设置2、Finetuning
可乐加冰呀·2023-10-29 18:03

ChatGLM系列八：微调医疗问答系统

二、P-tuningv2P-tuningv2微调技术利用deepprompttuning，即对预训练Transformer的每一层输入应用continuouspromp
永胜永胜·2023-10-29 11:10

ChatGLM系列三：Freeze微调

目前主流对大模型进行微调方法有三种：Freeze方法、P-Tuning方法和Lora方法。
永胜永胜·2023-10-29 11:40

ChatGLM系列五：Lora微调

目前主流对大模型进行微调方法有三种：Freeze方法、P-Tuning方法和Lora方法LoRA:在大型语言模型上对指定参数（权重矩阵）并行增加额外的低秩矩阵，并在模型训练过程中，仅训练额外增加的并行低秩矩阵的参数
永胜永胜·2023-10-29 11:34

LLaVA:visual instruction tuning

对近期一些MLLM(MultimodalLargeLanguageModel)的总结-知乎本文将从模型结构，训练方法，训练数据，模型表现四个方面对近期的一些MLLM（Multi-modalLargeLanguageModels）进行总结并探讨这四个方面对模型表现的影响。本文覆盖的MLLM包括：LLaVA,MiniGPT-4,mPLUG-Owl,…https://zhuanlan.zhihu.com
Kun Li·2023-10-28 09:30

ChatGLM2-6B! 我跑通啦！本地部署+微调（windows系统）

记录一下此时此刻，2023年7月8日22点04，从ChatGLM2-6B在7月4日开放了ptuning到此时此刻，ChatGLM2-6B的微调终于被哥们跑通了！
cf_strange·2023-10-28 08:07

论文阅读——BERT

Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding1.Motivation2.Contribution3.Method3.1BERT3.2Pre-trainingBERT3.3Fine-tuningBERT4
猫猫头不写bug·2023-10-28 05:37

【网安专题10.25】论文8：华为团队+静默漏洞检测（识别+多分类）+数据增强、样本扩充+对比学习+微调+结果分析（降到二维空间，分类错误样本的归纳，具体应用场景优势，有效性威胁分析）

写在最前面论文主要贡献启发论文主要工作对论文工作的一些启发摘要目标问题:静默依赖修复问题现有工作本文工作主要贡献Proposedapproach提出的方法PPT中"Proposedapproach"和"Methodology"的区别背景知识知识迁移微调（Fine-tuning
是Yu欸·2023-10-27 22:34

InstructionGPT

之前是写在[Instruction-tuning（指令微调）]里的，抽出来单独讲一下。
-柚子皮-·2023-10-27 21:26

大模型周报丨Table-GPT、3D-GPT、AgentTuning等新工作重磅来袭

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。2022年底，OpenAI推出的基于GPT-3.5的大型语言模型ChatGPT，由于
AMiner学术搜索和科技情报挖掘·2023-10-27 10:32

Table-GPT:让大语言模型理解表格数据

在这篇文章中，我们将介绍微软发表的一篇研究论文，“Table-GPT:Table-tuningGPTforDiverseTableTasks”，研究人员介绍了Table-GPT，一种针对该问题的GPT模型
deephub·2023-10-27 10:29

北京理工大学计算机学院郭守坤,付莹_北京理工大学计算机学院

代表性学术成果1.KaixuanWei,AngelicaAviles-Rivero,JingweiLiang,YingFu*,Carola-BibianeSchnlieb,HuaHuang.Tuning-freePlug-and-PlayProximalAlgorithmforInverseImagingProblems.InternationalConferenceonMachineLearni
weixin_39781930·2023-10-27 07:10

Database Tuning Best Practices - A Success Story

IntroductionSaaSserviceprovidersmustalwaysconsiderthelargenumberofuserswhendesigninganappropriatebusinessarchitecture.Thelargeuserbaseandmassiveuserdatarequirebothefficiencyandstabilityintheinfrastruc
weixin_33725515·2023-10-27 07:39
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他