TUNING】

Fine-Tuning with Brain:

UnlockingthePotentialofNeuralNetworkModelsIntroduction:Thefieldofartificialintelligencehaswitnessedremarkableadvancementsinrecentyears,particularlyinthedomainofneuralnetworkmodels.Oneintriguingconcept
卢延吉·2023-09-04 08:48

BERT论文解读: Pre-training of Deep Bidirectional Transformers for Language Understanding（2018）

论文同时也进行了模型下游任务训练时feature-based和fine-tuning的对比分析。BERT模型的测试结果，有几个重要结论和启
响尾大菜鸟·2023-09-03 08:14

大语言模型之七- Llama-2单GPU微调SFT

详见Finetuning_LLama_2_0_on_Colab_with_1_GPU.ipynb在上一篇博客提到两种改进预训练模型性能的方法Retrieval-AugmentedGeneration(RAG
shichaog·2023-09-03 06:18

线下活动丨Big Model Meetup 第1期：大模型Prompt Tuning技术，8场学术报告和Poster展示...

「BigModelMeetup」系列活动是由智源研究院悟道团队、青源会、清华大学计算机科学与技术系博硕论坛、中国中文信息学会青年工作委员会共同组织，智源社区提供社区支持，PaperWeekly提供媒体支持。该系列活动旨在建设“大模型”研究和应用的“技术社区”，推动国内大模型技术的交流与发展，打造相关专家学者、爱好者深度的交流分享平台。BMMeetup第一期以大模型微调技术为主题，于2021年10月
PaperWeekly·2023-09-03 03:02

【人工智能】—_深度神经网络、卷积神经网络（CNN）、多卷积核、全连接、池化

多卷积核、全连接、池化)深度神经网络训练训练深度神经网络参数共享卷积神经网络（CNN）卷积多卷积核卷积全连接最大池化卷积+池化拉平向量激活函数优化小结深度神经网络训练Pre-training+Fine-tuningPre-training
Runjavago·2023-09-02 11:38

19篇论文速览大模型微调技术进展与热门方法

目前较为流行的大模型微调技术是PEFT(Parameter-EfficientFineTuning)，只对部分的参数进行训练，主要有PromptTuning、PrefixTuning、L
深度之眼·2023-09-02 07:52

myql5.7.7优化配置参数

#Otherdefaulttuningvalues#MySQLServerInstanceConfigurationFile#--------------------------------------
诀窍的心灵·2023-09-01 11:53

景联文科技：高质量AI数据标注助力大语言模型训练，推动人工智能落地应用

大语言模型在各类LLM新技术的融会贯通下，不断加速Instruction-tuning、RLHF、思维链等新技术在大语言模型中的深度应用，人工智能技术以惊人的速度不断进化。
景联文科技·2023-09-01 10:20

DP读书：鲲鹏处理器 架构与编程（十四）ACPI与软件架构具体调优

DependencyAdvisor鲲鹏代码迁移工具PortingAdvisor鲲鹏软件性能调优鲲鹏软件性能调优流程CPU与内存子系统性能调优网络子系统性能调优磁盘I/O子系统性能调优应用程序性能调优基础软件性能调优鲲鹏性能优化工具TuningKit
DarrenPig·2023-09-01 07:57

分类算法系列③：模型选择与调优 (Facebook签到位置预测)

目录模型选择与调优1、介绍模型选择（ModelSelection）：调优（HyperparameterTuning）：本章重点2、交叉验证介绍为什么需要交叉验证数据处理3、⭐超参数搜索-网格搜索(GridSearch
逐梦苍穹·2023-09-01 07:54

重磅！GPT-3.5 Turbo推出微调功能，可以打造专属ChatGPT啦！

大语言模型的微调（Fine-tuning）是一种在预训练模型的基础上，对特定任务进行深度训练的方法。微调的基本思想是，先在大规模文本数据上预训练一个大型的语言模型，例如，GPT-3.
成事指南·2023-08-31 22:07

Relation Extraction as Open-book Examination: Retrieval-enhanced Prompt Tuning

本文是LLM系列文章，针对《RelationExtractionasOpen-bookExamination:Retrieval关系提取作为开卷测试：检索增强提示调整摘要1引言2方法3实验4相关工作5结论摘要经过预训练的语言模型通过表现出显著的小样本学习能力，对关系提取做出了重大贡献。然而，用于关系提取的提示调优方法可能仍然无法推广到那些罕见或困难的模式。注意，以前的参数学习范式可以被视为将训练数
UnknownBody·2023-08-31 21:55

Multitask Vision-Language Prompt Tuning

本文是LLM系列文章，针对《MultitaskVision-LanguagePromptTuning》的翻译。
UnknownBody·2023-08-31 09:34

2023大型语言模型推荐技术进展综述: 分类、进展、问题、趋势.

2305.19860.pdfASurveyonLargeLanguageModelsforRecommendation文章目录内容摘要1.内容引言2.LLM推荐建模范式3.用于推荐的判别式LLM3.1微调（Fine-tuning
山科智能信息处理实验室·2023-08-31 05:59

kernel: TCP: out of memory -- consider tuning tcp_mem 问题处理记录

问题：1、通过/var/log/messages定位到原因，大概意思是TCP发送缓冲区满了2、查看其默认tcp_mem配置：解决办法：1、vim/etc/sysctl.conf加入以下内容即可net.core.netdev_max_backlog=30000net.core.rmem_max=134217728net.core.wmem_max=134217728net.ipv4.tcp_mem=
123，夏天·2023-08-31 04:09

[LLM] 大模型训练

微调：工具：https://github.com/huggingface/peft对chatGLM微调：https://github.com/hiyouga/ChatGLM-Efficient-Tuning
风可。·2023-08-31 04:23

Pfile和Spfile配置解释(转载)

CertainfilesinthedatabasecancompletelychangethewayyourOracle12cdatabasebehaves.Theycaninfluenceeverythingfromperformanceandtuningaswellastroubleshooting.Maintainingandconfiguringthese
Bean_Do·2023-08-30 16:18

ibverbs文档翻译

product_family=26&mtag=linux_sw_drivers文档列表ProductBriefRDMAAwareNetworksProgrammingUserManualPerformanceTuningGuideforMellanoxNetworkAdapte
QiangLi_strong·2023-08-28 23:41

关于 Camera 产品的功能分析

1、问题背景通过最近做的一些项目，发现Tuning一款Camera产品前，要考虑到的事情有很多，不是简单的点亮，按要求调完效果就结束了。从目前的经验来看，准备工作做的越充分，后期遇到的问题也就越少。
木 东·2023-08-28 20:43

ISP调试流程概述

概要：本文主要是整理了一下，关于isp效果调试的工作中，我们平常在接到一个项目任务时，一般都需要做哪些事情；首先我们要明白，作为一个合格的tuning工程师，在调测一款相机的效果时，是需要从整个成像系统来考虑图像质量
木 东·2023-08-28 20:42

Instruction Tuning for Large Language Models: A Survey

本文是LLM系列文章，针对《InstructionTuningforLargeLanguageModels:ASurvey》的翻译。
UnknownBody·2023-08-28 11:09

Adapter Tuning Overview：在CV，NLP，多模态领域的代表性工作

文章目录DeltaTuningAdapterTuninginCVAdapterTuninginNLPDeltaTuningAdapterTuninginCV题目:Learningmultiplevisualdomainswithresidualadapters
猴猴猪猪·2023-08-28 05:52

zabbix的优化

zabbix的优化zabbixperformancetuningnvps：NewValuePerSecond100w/m15000/s1、zabbix服务器进程数量调整配置文件中：StartPollers
任总·2023-08-28 02:07

【大模型】基于 LlaMA2 的高 star 的 GitHub 开源项目汇总

大模型】基于LlaMA2的高star的GitHub开源项目汇总Llama2简介开源项目汇总NO1.FlagAlpha/Llama2-ChineseNO2.hiyouga/LLaMA-Efficient-TuningNO3
szZack·2023-08-27 19:48

LLMs多任务指令微调Multi-task instruction fine-tuning

多任务微调是单任务微调的扩展，其中训练数据集包括多个任务的示例输入和输出。在这里，数据集包含指导模型执行各种任务的示例，包括摘要、评论评分、代码翻译和实体识别。您在这个混合数据集上训练模型，以便它可以同时提高模型在所有任务上的性能，从而避免灾难性遗忘的问题。经过多次迭代的训练，使用示例计算的损失用于更新模型的权重，从而产生一个已经学会如何同时擅长多种不同任务的指导模型。多任务微调的一个缺点是它需要
AI架构师易筋·2023-08-27 09:13

Prompt Tuning 和instruct tuning

PromptTuning是啥？prompt的思想是，把下游任务的输入转化为预训练模型的原始任务。以bert作为举例，假设任务是文本分类。“今天天气很好。”
泯灭XzWz·2023-08-26 10:04

【LLM大模型】模型和指令微调方法

noteHuggingFace的PEFT是一个库（LoRA是其支持的技术之一，除此之外还有PrefixTuning、P-Tuning、PromptTuning），可以让你使用各种基于Transformer
u013250861·2023-08-25 07:16

【论文阅读】定制化diffusion微调: DreamBooth原理

论文：DreamBooth:FineTuningText-to-ImageDiffusionModelsforSubject-DrivenGeneration项目：DreamBooth:FineTuningText-to-ImageDiffusionModelsforSubject-DrivenGeneration
orangerfun·2023-08-24 20:09

解锁ChatGLM-6B的潜力：优化大语言模型训练，突破任务困难与答案解析难题

因此，在这个项目下我们参考ChatGLM-Tuning的代码，尝试对大模型ChatGLM-6B进行Fin
汀、人工智能·2023-08-24 12:31

LLM低成本微调方法

这里介绍三种主流方法：冻结，P-tuning，QLoRA。
tzc_fly·2023-08-24 08:01

大模型微调之P-tuning方法解析

转载：原文链接：大模型微调之P-tuning方法解析Part1前言Bert时代，我们常做预训练模型微调（Fine-tuning），即根据不同下游任务，引入各种辅助任务loss和垂直领域数据，将其添加到预训练模型中
qq_41771998·2023-08-23 20:25

解锁ChatGLM-6B的潜力：优化大语言模型训练，突破任务困难与答案解析难题

因此，在这个项目下我们参考ChatGLM-Tuning的代码，尝试对大模型ChatGLM-6B进行Fin
·2023-08-23 18:55

解锁ChatGLM-6B的潜力：优化大语言模型训练，突破任务困难与答案解析难题

因此，在这个项目下我们参考ChatGLM-Tuning的代码，尝试对大模型ChatGLM-6B进行Fin
·2023-08-23 18:53

自然语言处理：大语言模型入门介绍

自然语言处理：大语言模型入门介绍语言模型的历史演进大语言模型基础知识预训练Pre-traning微调Fine-Tuning指令微调InstructionTuning对齐微调AlignmentTuning
cv-player·2023-08-23 10:10

Instruction finetuning

Instructionfinetuning---T5，ExploringtheLimitsofTransferLearningwithaUnifiedText-to-TextTransformer，2019arxivhttps
apche CN·2023-08-22 18:16

[ICLR 2023] LPT: Long-tailed Prompt Tuning for Image Classification

ContentsIntroductionPreliminaryStudyPerformanceInvestigationofVPT(VisualPromptTuning)AnalysisofPromptTuningLong-tailedPromptTuning
连理o·2023-08-22 08:05

【笔记】Spark3 AQE(Adaptive Query Execution)

提效7倍，ApacheSpark自适应查询优化在网易的深度实践及改进PerformanceTuning配置SparkSQL开启AdaptiveExecution特性HowToUseSparkAdaptiveQueryExecution
TaiKuLaHa·2023-08-22 05:14

Tiny-Attention Adapter: Contexts Are More Important Than the Number of Parameters

ContextsAreMoreImportantThantheNumberofParameters(Paperreading)HongyuZhao,UniversityofChicago,EMNLP2022,Cited:3,Code:None,Paper1.前言Adapter-tuning
努力学图像处理的小菜·2023-08-22 00:43

Google｜OctoPack：指令微调代码大语言模型

arxiv.org/abs/2308.07124 项目要点提出COMMITPACK，一个包含350种编程语言，总量4TB的代码提交(commit)数据集，用于指令微调(instructiontuning
AI 研习所·2023-08-21 18:38

大模型PEFT技术原理（二）：P-Tuning、P-Tuning v2

随着预训练模型的参数越来越大，尤其是175B参数大小的GPT3发布以来，让很多中小公司和个人研究员对于大模型的全量微调望而却步，近年来研究者们提出了各种各样的参数高效迁移学习方法（Parameter-efficientTransferLearning），即固定住PretrainLanguagemodel（PLM）的大部分参数，仅调整模型的一小部分参数来达到与全部参数的微调接近的效果（调整的可以是模
wshzd·2023-08-21 09:39

大模型PEFT技术原理（三）：Adapter Tuning及其变体

随着预训练模型的参数越来越大，尤其是175B参数大小的GPT3发布以来，让很多中小公司和个人研究员对于大模型的全量微调望而却步，近年来研究者们提出了各种各样的参数高效迁移学习方法（Parameter-efficientTransferLearning），即固定住PretrainLanguagemodel（PLM）的大部分参数，仅调整模型的一小部分参数来达到与全部参数的微调接近的效果（调整的可以是模
wshzd·2023-08-21 09:09

论文《TALLRec: An Effective and Efficient Tuning Framework to Aligh LLM with Recommendation》阅读

论文《TALLRec:AnEffectiveandEfficientTuningFrameworktoAlignLargeLanguageModelwithRecommendation》论文概况BackgroundandIntroductionPreliminary
行者^_^煜煜·2023-08-20 14:21

DyLoRA：使用动态无搜索低秩适应的预训练模型的参数有效微调

又一个针对LoRA的改进方法：DyLoRA:Parameter-EfficientTuningofPretrainedModelsusingDynamicSearch-FreeLowRankAdaptationhttps
2201_75761617·2023-08-20 03:57

大模型之Bloom&LLAMA----SFT(模型微调)

最近作者在跟着hiyouga大佬的LLaMA-Efficient-Tuning进行学习，相较于其他的项目来说，该项目是非常适合跟着学习并入门的。1.什么是SFTSFT（
敢敢のwings·2023-08-20 02:12

GPT系列总结

1.GPT1无监督预训练+有监督的子任务finetuninghttps://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf1.1Unsupervisedpre-training
江汉似年·2023-08-19 14:24

中文医学知识语言模型：BenTsao

介绍BenTsao：[原名：华驼(HuaTuo)]:基于中文医学知识的大语言模型指令微调本项目开源了经过中文医学指令精调/指令微调(Instruction-tuning)的大语言模型集，包括LLaMA、
A雄·2023-08-18 15:16

chatglm-6b_ptuning error:bash .sh，出现ModuleNotFoundError

文章目录模型效果演示问题描述分析一分析二ChatGLM-6B是一个由清华大学和智谱AI联合研发的开源对话语言模型。它是一个支持中英双语问答的对话系统，并在中文方面进行了特别的优化。该模型基于GeneralLanguageModel(GLM)架构，具有62亿参数。借助模型量化技术，用户可以在消费级的显卡上进行本地部署，INT4量化级别下最低只需6GB显存。ChatGLM-6B使用了和ChatGLM相
芝士高斯·2023-08-17 15:28

Prompt：结构化 Prompt【Prompt tuning是一种微调方法，使用简短的提示/问题/示例（prompt）为模型提供了上下文，进而指导模型执行特定任务】

什么是结构化Prompt？结构化的思想很普遍，结构化内容也很普遍，我们日常写作的文章，看到的书籍都在使用标题、子标题、段落、句子等语法结构。结构化Prompt的思想通俗点来说就是像写文章一样写Prompt。为了阅读、表达的方便，我们日常有各种写作的模板，用来控制内容的组织呈现形式。例如古代的八股文、现代的简历模板、学生实验报告模板、论文模板等等模板。所以结构化编写Prompt自然也有各种各样优质的
u013250861·2023-08-16 10:42

【经验分享】PTS系列1—用Qualcomm最新芯片QCC5181让你轻松上手蓝牙认证工具PTS

大家好，我是观点这个系列来讲一下PTS(ProfileTuningSuite)，它是一个蓝牙Profile测试工具，由蓝牙协会提供，可以用来测试蓝牙装置是否符合蓝牙规范和协议。
WPG大大通·2023-08-16 08:03

模型调参 Model Tuning

@[toc]ManualHyperparameterTuningStartwithagoodbaseline,e.g.defaultsettingsinhigh-qualitytoolkits,valuesreportedinpapersTuneavalue
Cache_wood·2023-08-16 00:21
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他