tuning 第25页

【自然语言处理】【实体匹配】PromptEM：用于低资源广义实体匹配的Prompt-tuning

PromptEM：用于低资源广义实体匹配的Prompt-tuning《PromptEM:Prompt-tuningforLow-resourceGeneralizedEntityMatching》原文链接

BQW_·2022-11-23 09:56

lightgbm的使用和参数说明

文章目录use```importlightgbmaslgb```datainterface设置参数训练、预测模型保存```lightgbm.sklearn.LGBMClassifier()```tuning

hellopbc·2022-11-23 08:04

【实践】基于ERNIE实现9项GLUE任务

基于ERNIE实现GLUE各项任务1.实验内容本实验将使用ERNIE对NLP领域中的经典任务GLUE数据集进行fine-tuning,GLUE数据集中包含多项子数据集，现整理如下：图1GLUE数据集描述图

飞桨PaddlePaddle·2022-11-22 23:26

Hyperopt 超参数调优

本文是对ParameterTuningwithHyperopt一文的翻译。

Wang CS·2022-11-22 20:08

MATLAB 随机森林超参数优化教程（Hyperparameters Tuning of Random Forest）

本文主要内容翻译自MATLAB官网，此外也增加了一些自己的注释，参考链接如下：TuneRandomForestUsingQuantileErrorandBayesianOptimization使用分位数误差和贝叶斯最优化方法进行随进森林调参以下例子将展示如何使用分位数误差来实现基于贝叶斯最优化的随机森林的超参数调整。如果您计划使用模型预测条件分位数(而不是条件平均值)，那么更合适使用分位数误差(而

天外来客Jonty·2022-11-22 20:03

R语言机器学习mlr3：超参数调优

目录模型调优调整超参数方法一：通过`tuninginstancesinglecrite`和`tuner`训练模型方法二：通过`autotuner`训练模型超参数设定的方法参数依赖模型调优当你对你的模型表现不满意时

医学和生信笔记·2022-11-22 20:25

英特尔至强性能调优指南

请参阅Intel官方链接：Intel®Xeon®PerformanceSolutionsandTuningGuidesforXeonCPUs

英特尔边缘计算社区·2022-11-22 18:44

transformer论文及其变种

multi-headattnabspositionwhyslf-attntransformer-XLInformer细节probSparseslf-attnLongformer细节GPT-generativepre-train模型结构下游任务：fine-tuningswintransformertransformermotivation

林林宋·2022-11-22 15:46

包RSNNS-MLP-IRIS-TUNING案例解析

简单分析一下RSNNS包中的一个案例demo。这个文件的源码可以在RSNNS/demo中找到。library(RSNNS)set.seed(2)data(iris)#shufflethevectoririshead(irisTargets)setosaversicolorvirginica[1,]0.90.10.1[2,]0.90.10.1[3,]0.90.10.1[4,]0.90.10.1[5,

weixin_30832405·2022-11-22 11:41

Vision Transformer (ViT)

目录IntroductionMethodVisionTransformer(ViT)Fine-tuningandHigherResolutionExperimentsSetupComparisontoSOTAPre-trainingdatarequirementsScalingstudyInspectingViTSelf-SupervisionReferencesIntroductionViT

连理o·2022-11-22 08:20

预训练模型 & Fine-tuning

常见的做法是使用预训练的网络（例如在ImageNet上训练的分类1000类的网络）来重新fine-tuning（也叫微调），或者当做特征提取器。语言

rainbow_lucky0106·2022-11-22 08:43

Ontology-enhanced Prompt-tuning for Few-shot Learning

Ontology-enhancedPrompt-tuningforFew-shotLearning本文仅供参考、交流、学习论文地址：https://arxiv.org/abs/2201.11332代码和数据集地址

回锅肉炒肉·2022-11-21 15:37

论文笔记 WWW 2022|Ontology-enhanced Prompt-tuning for Few-shot Learning

文章目录1简介1.1动机1.2创新2方法2.1GeneralFrameworkwithPrompt-Tuning2.2OntologyTransformation2.2.1RelationExtraction2.2.2EventExtraction2.2.3KnowledgeGraphCompletion2.3Span-sensitiveKnowledgeInjection2.4Collectiv

hlee-top·2022-11-21 15:59

论文笔记：Ontology-enhanced Prompt-tuning for Few-shot Learning

论文来源：WWW2022论文地址：https://arxiv.org/pdf/2201.11332.pdfhttps://arxiv.org/pdf/2201.11332.pdf论文代码：暂未公开笔记仅供参考，撰写不易，请勿恶意转载抄袭！Abstract小样本学习旨在基于有限数量的样本就行预测。结构化数据（如知识图谱、本体库）已被用于少样本设置的各种任务。但是现有方法采用的先验存在知识缺失、知识噪

富婆儿不爱money·2022-11-21 15:51

transformer bert微调实例---细节解读

/usr/bin/envpython#coding=utf-8"""FinetuningthelibrarymodelsforsequenceclassificationonGLUE."""#Y

骑单车的王小二·2022-11-21 14:01

torchvision复现maskrcnn遇到的问题以及解决方案汇总

官网原教程tutorials/torchvision_finetuning_instance_segmentation.ipynbatmaster·pytorch/tutorials·GitHub参考链接

老油条666·2022-11-21 14:30

SpotTune-自适应迁移学习的微调方法

SpotTune:TransferLearningthroughAdaptiveFine-tuning摘要：当前的问题：主要工作：具体实现：SpotTuneOverview：TrainingwiththeGumbelSoftmaxPolicy

BIT可达鸭·2022-11-21 12:27

Pytorch-4.1 Fine tuning 模型微调

4.1Finetuning模型微调4.1.1什么是微调针对于某个任务，自己的训练数据不多，那怎么办？

pengege666·2022-11-21 12:25

迁移学习与Fine-tuning微调

理论基础深度学习确实需要大量数据训练；但可以站在巨人的肩膀——预训练模型；迁移学习：借助预训练模型进行特征提取，泛化到我们自己的数据集上。迁移学习的理论基础卷积神经网络底层提取的是一些底层的特征如边缘、转角、颜色，中层提取比较高级的特征如形状、条纹、斑点，越到高层提取的高维特征越来越复杂，即我们提取到不同数据集的底层的特征都是普适、通用的。并且卷积层之间有脆弱的耦合关系，如果在某一层之前把网络结构

daoboker·2022-11-21 12:25

Attention——Transformer——Bert——FineTuning——Prompt

目录一、Attention机制二、Transformer模型三、Bert模型四、Fine-Tuning微调五、Prompt一、Attention机制1、核心逻辑：从关注全部到关注重点；2.计算attention

码一码码码·2022-11-21 12:54

迁移学习/fine-tuning

参考：TF-Slim实现模型迁移/微调tensorflow/hub通过重新使用TensorFlow模型的一部分来实现迁移学习的库https://tensorflow.google.cn/hub/Tensorflow-pb保存与导入Tensorflow-查看保存的变量及名字Tensorflow-变量保存与导入迁移学习：数据不足时如何深度学习Pre-trainingmodel完整程序：迁移学习迁移学习

风吴痕·2022-11-21 12:52

fine-tuning（微调）的理解

fine-tuning介绍什么情况下使用微调微调指导事项不同数据集下使用微调涉及到的其他知识学习率（learning-rate）卷积神经网络的核心迁移学习与微调什么是迁移学习为什么要迁移学习详细解释自己的理解

好耶OvO·2022-11-21 12:19

迁移学习和fine tuning 的关系

一、什么是迁移学习？迁移学习(Transferlearning)顾名思义就是把已训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务都是存在相关性的，所以通过迁移学习我们可以将已经学到的模型参数（也可理解为模型学到的知识）通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习。模型的训练与预测：深度学习的模型可以划分为训练和预测两个阶段。训练分为两种策

木绿·2022-11-21 12:48

pytorch深度学习-微调（fine tuning）

微调（finetuning）首先举一个例子，假设我们想从图像中识别出不同种类的椅子，然后将购买链接推荐给用户。

我是一颗棒棒糖·2022-11-21 12:18

NLP新宠——Prompt范式

PET1.1PET建模1.2如何选取Prompt模板1.3预测得token如何映射label1.4实验结果二、KPT2.1主要idea2.2标签词的扩展2.3标签词去噪2.4语言表达器的使用2.5实验结果三、P-tuning3.1

CReep~·2022-11-21 12:42

（Transfer Learning and fine tuning）迁移学习与微调

迁移学习：借助预训练模型，泛化到我们自己的模型上举栗子VGG16网络，在ImageNet上已经训练好，是一个预训练模型，有1000个分类1、当我们的数据集较小时，只修改最后一层全连接层，冻结其余所有层的结构和权重；2、当我们的数据集较大时，修改所有全连接层，冻结其余所有卷积层的结构和权重；

郑建宇Jy·2022-11-21 12:12

深度学习之finetuning（微调）

在深度学习中，通常会finetuning已有的成熟模型，再基于新数据，修改最后几层神经网络权值，为什么？实践中的数据集质量参差不齐，可以使用训练好的网络来进行提取特征。把训练好的网络当做特征提取器。

专注于计算机视觉的AndyJiang·2022-11-21 12:39

MXNET深度学习框架-27-微调（Fine-tuning）-迁移学习

众所周知，深度学习最重要的一个特性就是所需数据量大，一旦数据量比较小，而采用深度学习去训练的话，最终的结果只有一个：过拟合！但自己的数据集能达到上万的量吗？估计很少吧，就算有，也可能是斥巨资收集的吧。所以，为了应对这种情况，迁移学习(TransferLearning)就被提出来了。它的主要思想是将从源数据集学到的知识迁移到目标数据集上。上图中，源数据是一个比较大的数据集如ImageNet，目标数据

风极_陨·2022-11-21 12:06

计算机视觉之迁移学习中的微调(fine tuning)

答案是肯定的，就是接下来说的微调(finetuning)，顾名思义就

寅恪光潜·2022-11-21 12:03

（七十六）：Masked Autoencoders Are Scalable Vision Learners

Laura_Wangzx·2022-11-21 10:24

模型调参常见问题及Aadm优化器调参记录

超参数调试、Batch正则化和编程框架参考链接：链接：https://blog.csdn.net/red_stone1/article/details/784034161.TuningProcess深度神经网络需要调试的超参数

sereasuesue·2022-11-21 03:14

Visual Prompt Tuning 笔记

文章目录VisualPromptTuningBasicinformationThecontent参考资料VisualPromptTuningBasicinformationTitle:VisualPromptTuningPaper

小鬼漫步·2022-11-20 20:11

【ECCV 2022】Visual Prompt Tuning

VisualPromptTuning论文简介：论文介绍：具体实现：基本定义Visual-PromptTuningVPT-ShallowVPT-DeepStoringVisualPrompts实验结果：论文简介

BIT可达鸭·2022-11-20 20:39

训练CV模型新思路来了：用NLP大火的Prompt替代微调，性能全面提升

Prompttuning，作为NLP领域中的一个“新宠”，甚至曾被学者誉为NLP预训练新范式。那么，它能否借鉴到CV领域并产生同样的成绩呢？

数据派THU·2022-11-20 20:04

Visual Prompt Tuning

参考文献：Jia,M.,Tang,L.,Chen,B.C.,Cardie,C.,Belongie,S.,Hariharan,B.,&Lim,S.N.(2022).Visualprompttuning.arXivpreprintarXiv

一直在路上的程序猿·2022-11-20 20:59

超越传统微调！Meta新作VPT：视觉Prompt来了！冻结主干，仅调节1%参数，性能提升显著！...

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达丰色发自凹非寺转载自：量子位（QbitAI）Prompttuning，作为NLP领域中的一个“新宠”，甚至曾被学者誉为NLP预训练新范式

Amusi（CVer）·2022-11-20 20:20

Visual Prompt Tuning (VPT)

Introduction常用技术：fullfine-tuning，这种策略要求为每一个任务存储和部署一个独立的骨干参数副本。

Wanderer X·2022-11-20 20:47

《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》论文翻译--中英对照

文章目录1Introduction(简介)2RelatedWork（相关工作）2.1Feature-basedApproaches（基于特征的方法）2.2Fine-tuningApproaches（微调方法

吕秀才·2022-11-20 18:08

Matlab/Simulink中的S函数模块嵌入人工智能、神经网络算法设计仿真案例详解（以基于RBF神经网络算法的VSG转动惯量自调节为例）

AnimprovedvirtualsynchronousgeneratorpowercontrolstrategyDeepreinforcementlearningbasedparameterself-tuningcontrol

魔术田·2022-11-20 17:35

Can only write data to relations with a single path

记一次sparkbug分析|LOCATION|'hdfs://hr-hadoop/user/hive/warehouse/sparktuning.db/salecourse_detail_4'建表时不要加

南风知我意丿·2022-11-20 17:38

Multi-Faceted Distillation of Base-Novel Commonality for Few-shot Object Detection

小目标检测中基于新型共性的多方面蒸馏Abstract.Mostofexistingmethodsforfew-shotobjectdetectionfollowthefine-tuningparadigm

Tecypus·2022-11-20 16:03

超参数（Hyperparameter）

还有一类则是机器学习算法中的调优参数（tuningparameters），需要人为设定，称为超参数（Hyperparameter）。比如，正则化系数λ，决策树模型中树的深度。参数和超参数的区别：模型

我闻如是·2022-11-20 15:58

论文阅读_基于知识的提示学习KnowPrompt

英文题目：KnowPrompt:Knowledge-awarePrompt-tuningwithSynergisticOptimizationforRelationExtraction中文题目：KnowPrompt

xieyan0811·2022-11-20 12:17

KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction

KnowPrompt:Knowledge-awarePrompt-tuningwithSynergisticOptimizationforRelationExtraction本文仅供参考、交流、学习论文地址

回锅肉炒肉·2022-11-20 12:13

KnowPrompt:Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction

AbstractPrompt-tuning的核心思想就是将文本块（textpieces）插入到输入中并且将一个分类问题转换成一个掩码语言模型问题。

hithithithithit·2022-11-20 12:09

[论文阅读笔记62]KnowPrompt - Knowledge-aware Prompt-tuning with Synergistic Optimization for RE

1.题目KnowPrompt:Knowledge-awarePrompt-tuningwithSynergisticOptimizationforRelationExtractionthepaperhasbeenacceptedbyWWW2022

happyprince·2022-11-20 12:34

论文阅读《Knowledge Collaborative Fine-tuning for Low-resource Knowledge GraphCompletion》

论文链接基于知识协同微调的低资源知识图谱补全方法2022年3月发表于软件学报是浙大prompt系列的一个延续本文之前的工作：AdaPrompt:AdaptivePrompt-basedFinetuningforRelationExtraction

沐神的小迷弟·2022-11-20 12:03

论文阅读《KnowPrompt: Knowledge-aware Prompt-tuning withSynergistic Optimization for Relation Extractio》

论文链接KnowPrompt:Knowledge-awarePrompt-tuningwithSynergisticOptimizationforRelationExtractionIntroduction

沐神的小迷弟·2022-11-20 12:33

论文笔记：Prototypical Verbalizer for Prompt-based Few-shot Tuning

论文来源：ACL2022论文地址：https://arxiv.org/pdf/2203.09770.pdfhttps://arxiv.org/pdf/2203.09770.pdf论文代码：https://github.com/thunlp/OpenPrompthttps://github.com/thunlp/OpenPromptAbstract基于提示的预训练语言模型（pre-trainedla

富婆儿不爱money·2022-11-20 12:00

Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification

2108.02035.pdfhttps://arxiv.org/pdf/2108.02035.pdf论文代码：https://github.com/thunlp/KnowledgeablePromptTuninghttps