tuning

ICLR2022 论文阅读笔记：HYPERPARAMETER TUNING WITHRENYI DIFFERENTIAL PRIVACY(使用Renyi差分隐私的超参数调优)之ml萌新浅尝

Notion整理-使用Renyi差分隐私的超参数调优https://warp-swift-7fe.notion.site/Paper1-Hyperparamter-tuning-with-Renyi-Differential-Privacy-Renyi
yellow_p·2023-01-18 11:32

ProsoSpeech: Enhancing Prosody With Quantized Vector Pre-training in Text-to-Speech

文章目录abstractmethodprosodyencoderLatentProsodyVectorPredictorPre-trainingandFine-tuningexperimentdataset
林林宋·2023-01-17 15:20

论文笔记：Enhancing Pre-trained Chinese Character Representation with Word-aligned Attention

预训练模型种类繁多，如下图用的最多的莫过于大名鼎鼎的BERT预训练模型，同样是基于Pre-training和Fine-tuning模式架构的不管啥模型，第一件事都是tokenizer。
爱吃腰果的李小明·2023-01-17 11:13

BERT 词向量理解及训练更新

1、BERT词向量理解在预训练阶段中，词向量是在不断更新的，而在fine-tuning阶段中，词向量是固定不变的。在fine-tuning阶段中，我们使用预训练好的模型参数来对新的数据进行训练。
loong_XL·2023-01-16 06:07

ACL 2022 Dynamic Prefix-Tuning for Generative Template-based Event Extraction 论文阅读

任务形式本文任务：事件抽取。给定一段文本，事件抽取模型需要针对特定的事件类型抽取触发词（eventtriggers），以及该事件中所包含的各类论元角色（argumentrole）。如下图例子所示：输入文本：ThemanreturnedtoLosAngelesfromMexicofollowinghiscaptureTuesdaybybountyhunters.（这名男子周二被赏金猎人抓获后，从墨西
--JinJIKIKO--·2023-01-15 18:46

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale——ViT

文章目录摘要Introduction相关工作方法VisionTransformer(ViT)Fine-TuningandHigherResolution（微调和高分辨率）实验Setup（实验设置）ComparisontoStateofTheArtPre-trainingdatarequirementsScalingStudy
AcceptGo·2023-01-15 18:43

NeurIPS 2022 | 南理工/百度/中科院提出SVF：小样本分割新范式！

AI/CV重磅干货，第一时间送达作者：syp2ysy|已授权转载（源：知乎）编辑：CVerhttps://zhuanlan.zhihu.com/p/564674487SingularValueFine-tuning
Amusi（CVer）·2023-01-14 15:19

Course2-week1-setting up your ML application

testsetThisweekwe’lllearntheparticalaspectsofhowtomakeyourneuralnetworkworkwell,rangingfromthingslikehyperparameterstuningtohowtosetupyourdata
土肥宅娘口三三·2023-01-14 11:42

paddlehub利用自有数据集进行训练和微调

进行自有数据集的训练和微调（NLP）paddlehub利用自有数据集进行训练和微调1.基本骨架-TransformerEncoder2.ERNIE基本原理3.ERNIE自定义数据集4.ERNIE训练和Fine-tuning5
Be better。·2023-01-14 09:18

吴恩达deeplearning.ai系列课程笔记+编程作业(7)第二课 改善深层神经网络-第三周 超参数调试、Batch正则化和程序框架（Hyperparameter tuning）

第二门课改善深层神经网络：超参数调试、正则化以及优化(ImprovingDeepNeuralNetworks:Hyperparametertuning,RegularizationandOptimization
geekxiaoz·2023-01-14 07:09

《DeepLearning.ai》第七课：超参数调试、Batch正则化和程序框架

第七课：超参数调试、Batch正则化和程序框架7.1调试处理(Tuningprocess)我们通常需要处理超参数，如上图。
王先森Vicent·2023-01-14 07:38

抛弃模板，一种Prompt Learning用于命名实体识别任务的新范式

©原创作者|王翔论文名称：Template-freePromptTuningforFew-shotNER文献链接：https://arxiv.org/abs/2109.1353201前言1.论文的相关背景
NLP论文解读·2023-01-13 21:25

Prompt-Learning

Prompting使得预训练模型和下游任务之间更加接近，这一点儿与fine-tuning不同，fine-tuning是使用预训练模型做下游任务，promptlearning是各种下游任务适应预训练模型，
xuanningmeng·2023-01-13 21:55

车载camera tuning人必备的素质

cameratuning必备素质：1.熟悉图像质量评估与评价，熟悉图像评测环境和设备，熟悉图像客观指标的分析方法与计
camera_tuning手机&车载·2023-01-13 18:21

车载camera tuning技术怎么学习怎么发展

车载tuning的技术相比手机侧重点不同，手机分aeafawbisp四个调试模块，车载没有af其他三个模块统一处理，相比较而言aeawb占比重，isp较轻。
camera_tuning手机&车载·2023-01-13 18:50

MySQL的查询缓存功能现已成了瓶颈！

如果你在网上搜索一下“tuningMySQLquerycache”（优化MySQL查询缓存），看到那么多的结果以及有人提供的五花八门的建议，这则新闻也就并不完全令人惊讶了。正如
Listen2You·2023-01-13 11:42

Huggingface Transformers库学习笔记（三）：使用Transformers（下）（Using Transformers Part 2）

库学习笔记（三）：使用Transformers（UsingTransformersPart2）前言使用Transformers（UsingTransformers）训练和微调（Trainingandfine-tuning
11好好学习，天天向上·2023-01-13 08:50

prompt模板模式总结记录

LanguageModelsasKnowledgeBasesmotivationLAMAProbe数据集实验结果Template-BasedNamedEntityRecognitionUsingBARTmotivation构造模板实验结果前缀模式Prefix-Tuning
kejizuiqianfang·2023-01-13 01:52

迁移Prompt–解决Prompt Tuning三大问题！

文|Harris刘鹏飞博士将近代NLP的研究划归为四种范式[1]并把预训练语言模型加持下的PromptLearning看作是近代自然语言处理技术发展的“第四范式”。当我们使用新范式的方法的时候，能够意识到它带来的优异性可能是以某种“人力”牺牲为代价的。而如何让这种人力代价降到最低，往往就是新范式里需要解决的核心问题[2]。PromptLearning刚兴起之时，prompts大多是人工设计的，为了
夕小瑶·2023-01-13 01:21

清华刘知远、黄民烈团队力作：一个「PPT」框架，让超大模型调参变简单

PPT=Pre-trainedPromptTuning。
PaperWeekly·2023-01-13 01:49

NLP新范式 prompt【0】

NLP新范式prompt【0】与使用具体的分类器的传统Fine-tuning不同，基于prompt的fine-tune直接使用预训练的模型来执行分类或回归的预训练任务。
Pin_BOY·2023-01-13 01:48

【学习周报】深度学习笔记第四周

学习目标：深度学习吴恩达lesson2-week3：超参数调试、Batch正则化和程序框架（Hyperparametertuning）深度学习吴恩达lesson3-week1：机器学习（ML）策略（1）
不要卷我啊·2023-01-12 11:18

Mask R-CNN的PyTorch实现（医学图像上的应用）

源码：https://github.com/pytorch/tutorials/blob/master/_static/torchvision_finetuning_instance_segmentation.ipynb
画外人易朽·2023-01-12 11:50

curriculum learning

/21/5dd617335da12/https://blog.csdn.net/qq_25011449/article/details/82914803关于transferLearning和fine-tuning
rockray21·2023-01-12 07:46

学术加油站｜机器学习应用在数据库调优领域的前沿工作解读

本文以VLDB2021的三篇databasetuning论文为例，对机器学习应
OceanBase数据库官方博客·2023-01-11 21:25

屏蔽预训练模型的权重。 只训练最后一层的全连接的权重。_BERT模型

BERT模型是一个两阶段模型，1.语言模型预训练（一般NLP中的预训练都是采用语言模型的任务来做）2.使用Fine-tuning模式解决下游任务。
weixin_39621819·2023-01-11 00:32

【YOLO】之理解预训练和微调

问题描述：在阅读YOLO论文的时候，总是出现预训练(pretraining)以及微调(finetuning)。那么问题来了：预训练是什么？为什么要用预训练？怎样预训练？微调是什么？为什么要用微调？
酸梅果茶·2023-01-10 22:50

模型微调，低预算，高期望！

作为迁移学习中的常用技术，Fine-tuning（微调）已经成为了深度学习革命的重要部分。微调不需要针对新任务从头开始学习，只需要加载预训练模型的参数，然后利用新任务的数据进行一步训练模型即可。
·2023-01-10 19:07

tensorflow2调用huggingface transformer预训练模型

现在的NLP行业几乎都逃不过fune-tuning预训练的bert或者transformer这一关，按照传统方法
Aiur Francis·2023-01-10 17:46

Prefix-Tuning: Optimizing Continuous Prompts for Generation

文章目录In-contextLearningPrefix-tuningRelatedWorkPrefix-tuning-intuitionFine-tuningResult（table-to-text）
HDU-Dade·2023-01-10 15:10

初学谷歌bert模型的预训练和fine-tuning微调

从开始学bert到现在用自己数据跑通bert预训练和微调，已经过去半个多月近三周了，查了很多资料和博客，记录一下自己的历程，也帮助其他入门者更好的了解bert模型。0.本文概览已经来看这篇博客了，bert是什么应该不用多说啦。后面主要叙述我用自己数据预训练和微调的过程。环境：pycharm——anaconda——tensorflow1.13.1-gpu——谷歌bert中文句子分类本文所用的环境快速
.小简.·2023-01-10 14:04

学术加油站｜机器学习应用在数据库调优领域的前沿工作解读

本文以VLDB2021的三篇databasetuning论文为例，对机器学习应
·2023-01-10 11:18

使用MindSpore训练及保存模型

ModelCheckpoint可以保存网络模型和参数，以便进行后续的Fine-tuning（微调）操作。
xiao | yang·2023-01-10 08:00

Transformer+BERT 推特文本分类(是否抱怨)

文章目录1.基础设置2.下载/导入数据集2.1下载数据集2.2LoadTrainData2.3LoadTestData3.设置GPU/CPU来训练4.Fine-tuningBERT4.1对原始文本进行轻微的数据处理
语译分西·2023-01-09 09:36

GPT Understands, Too论文笔记

摘要  GPT使用传统的fine-tuning无法在自然语言理解（NaturalLanguageUnderstanding,NLU）任务上取得良好的效果。
爱嘤嘤的小猪仔·2023-01-09 09:31

论文笔记：GPT Understands, Too

在这项工作中，作者提出了一种新方法——P-tuning，在连续空间中自动搜索提示。P-tuning利用很少的连续自由参数来作为预训练语言模型输入的提示，并使用
北在哪·2023-01-09 09:00

【笔记】GPT

【笔记】GPT文章目录【笔记】GPT介绍原理预训练过程fine-tuningGPT和ELMO非常相似，把语言模型直接迁移到具体的NLP任务中，因此，更容易迁移学习；不过也有弊端，这种将结构带入下游任务中的模式
Finks_chen·2023-01-09 09:27

深度学习Deep Learning Specialization [deep learning ai 吴恩达 主讲] Note1

Coursesinthissequence:NeuralNetworksandDeepLearningImprovingDeepNeuralNetworks:Hyperparametertuning,RegularizationandOptimizationStructuringyourMachineLearningprojectConvolutionalNeuralNetworks
张渤·2023-01-09 00:20

Gavin老师Transformer直播课感悟 - BERT多任务Fine-tuning案例实战

一、概述从任务的视角来看BERT的微调(Fine-tuning),通过下游监督式学习的任务（设定预定义的标签）来对BERT预训练之后的网络进行微调，这里需要重点关注的是"FurtherPre-training
m0_49380401·2023-01-07 09:12

BIBM2019_Fine-tuning BERT for Joint Entity and Relation Extraction in Chinese Medical Text

基于微调BERT的中文医学文本实体关系联合抽取摘要Ⅰ介绍Ⅱ相关工作A.NERB.RCC.实体关系联合抽取Ⅲ方法A.BERT语言模型B.动态范围注意机制C.聚焦注意模型D.联合学习Ⅳ实验A.数据集和评价指标B.实验设置C.实验结果Ⅴ.实验分析A.超参数分析B.消融分析总结论文.摘要  实体和关系抽取是构建医学文本的必要步骤。然而，现有模型中双向长短期记忆网络的特征提取能力并没有达到最好的效果。同时，
All in .·2023-01-07 07:40

模型微调，低预算，高期望！

作为迁移学习中的常用技术，Fine-tuning（微调）已经成为了深度学习革命的重要部分。微调不需要针对新任务从头开始学习，只需要加载预训练模型的参数，然后利用新任务的数据进行一步训练模型即可。
Jina AI·2023-01-06 14:34

PaddleNLP系列课程一：Taskflow、小样本学习、FasterTransformer

命名实体识别1.2.3文本纠错1.2.4句法分析1.2.5情感分析1.2.6文本生成应用（三行代码体验StableDiffusion）1.2.7使用技巧（保存地址、批量推理）二、小样本学习（PromptTuning
神洛华·2023-01-06 07:38

【AI】PyTorch实战（三）：迁移学习

通常做法就是在大的数据集（比如ImageNet）上训练出一个CNN，然后提取最后一层卷积层或者倒数第二层全连接层的输出作为CNN特征，然后直接使用SVM、贝叶斯或softmax等分类器进行分类；1.2微调微调Fine-tuning
郭老二·2023-01-05 15:26

Pytorch 微调（Fine-tuning）

Pytorch微调（Fine-tuning）0.环境介绍环境使用Kaggle里免费建立的Notebook教程使用李沐老师的动手学深度学习网站和视频讲解小技巧：当遇到函数看不懂的时候可以按Shift+Tab
哇咔咔负负得正·2023-01-05 15:55

迁移学习resnet_AI实战：迁移学习之使用ResNet做分类

迁移学习包括：1、FeatureExtraction2、Fine-Tuning本文基于tensorflow2.0，使用cats_vs_dog数据集，应用tf.keras.applications创建basemodel
孙晓岸·2023-01-05 14:13

Hugging Face主页课程第三篇《Fine-tuning a pretrained model》

TrainerAPI微调模型训练Evaluation4.编写训练循环（不使用Trainer）ThetrainingloopTheevaluationloop使用Accelerate增强训练循环5.Fine-tuning
神洛华·2023-01-05 05:30

pytorch使用transformers库进行fine-tuning微调

说明依照官网的使用文档，pytorch下使用transformers进行fine-tuning。我基本全部都是按照文档来的。
eecspan·2023-01-05 05:30

微调(fine-tuning）代码实现

1.热狗识别让我们通过具体案例演示微调：热狗识别。我们将在一个小型数据集上微调ResNet模型。该模型已在ImageNet数据集上进行了预训练。这个小型数据集包含数千张包含热狗和不包含热狗的图像，我们将使用微调模型来识别图像中是否包含热狗。%matplotlibinlineimportosimporttorchimporttorchvisionfromtorchimportnnfromd2limp
chnyi6_ya·2023-01-04 16:14

【译】BERT Fine-Tuning 指南（with PyTorch）

ByChrisMcCormickandNickRyan原文链接：http://tinyurl.com/y74pvgyc介绍历史2018年是NLP突破的一年，迁移学习、特别是AllenAI的ELMO，OpenAI的Open-GPT，以及Google的BERT，这些模型让研究者们刷新了多项任务的基线（benchmark），并提供了容易被微调预训练模型（只需很少的数据量和计算量），使用它们，可产出当今最
程序员在深圳V·2023-01-04 16:43

【ACL2021】Target-Oriented Fine-tuning for Zero-Resource Named Entity Recognition

【ACL2021】Target-OrientedFine-tuningforZero-ResourceNamedEntityRecognition论文地址：https://arxiv.org/abs/2107.10523
陈振斌·2023-01-04 15:10
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他