Tune 第4页

Few-shot learning（少样本学习）和 Meta-learning（元学习）概述

Few-shotlearning（少样本学习）1.问题定义2.解决方法2.1数据增强和正则化2.2Meta-learning（元学习）（二）Meta-learning（元学习）1.学习微调(LearningtoFine-Tune

Csdn-Yxt·2023-02-06 08:51

实用 Kaggle 竞赛之随机森林 Random Forrest 的评估及调参

RF的超参数设置——如何tune模型-一颗决策树的形成n_estimators-随机森林bootstrapping-数据量太小怎么办oob_score-max_samples_leaf,max_features

Rita_曾小辰·2023-02-06 02:44

sql index knowledge & tune

1、默认情况下，每当在一个查询的where子句中使用非索引属性列时，sqlserver会自动地创建统计值，统计名称以_WA_Sys开头。(sp_helpstatstablename)可以查询2、自动更新统计信息的阀值：在自动更新统计信息选项AUTO_UPDATE_STATISTICS为ON时，查询优化器将确定统计信息何时可能过期。查询优化器通过计算自最后统计信息更新后数据修改的次数并且将这一修改次

angoal·2023-02-04 21:48

Paddle OCR文字检测（二）(微调)

在垂直场景下，如果想获得更好的模型，可以通过fine-tune进一步提升PP-OCR系列检测识别模型的准确率。本文主要介绍微调文本检测识别模型时的一些注意事项。最后，您可以在自己的场景

ric-hman·2023-02-04 21:26

Tuner工作原理详解

tv.baoxiu.com/a/201001/170815.htm3、TVTuner搜台基础：https://wenku.baidu.com/view/bd0cefd133d4b14e85246882.html4、TV+Tune

weixin_30287169·2023-02-04 19:26

日更77

两个事情：在亲属关系识别中，使用facenet和vggnet的方法提取特征，进行fine-tune，目前成绩在15%左右。在眼球问题识别中，使用fastai做了几个操作。

深度学习模型优化·2023-02-03 06:13

SetFit: 高效的无提示少样本学习

因此，我们非常高兴地向大家介绍SetFit:一个基于SentenceTransformers的高效的少样本微调(fine-tune)框架，该工作由HuggingFace和

·2023-01-31 11:40

《Improving Language Understanding by Generative Pre-Training》论文笔记

Semi-SupervisedSequenceLearning》与《UniversalLanguageModelFine-tuningforTextClassification》的启发，采用“预训练+Fine-tune

凯子要面包·2023-01-30 20:47

memory network 没有成为BERT的基石的原因

transformer在预训练时，靠attentionmatrix能学到预训练数据里两两token之间的关系，也就是所说的上下文关系，然后在fine-tune时只会重写fine-tune数据集里的两两token

罗斯威少合体·2023-01-28 10:08

Pytorch Tutorial

（未解决）关于加载pretrainedmodel并且修改网络层以适应当前问题进行fine-tune，目前只是了解，并没有实际操作过2.

大头__·2023-01-26 19:51

何以动摇Fine-tune？一文综述Prompt Tuning发展

【专栏：前沿进展】2021年，PromptTuning已经成为NLP领域一大重点研究方向。不久前，CMU博士刘鹏飞发表了相关综述文章，在业界引起讨论。清华大学副教授刘知远认为：「PromptTuning也许会是深度学习时代的FeatureEngineering问题，如何给各大任务设计合理的Prompts将会是很有意思的科学问题」。本文是针对PromptTuning领域发展的综述介绍，包括其原理和内

智源社区·2023-01-26 11:53

【机器学习】用PyCaret创建整个机器学习管道

我们将在不到10个命令中完成所有这些步骤，这些命令是自然构造的，并且非常直观易记，例如create_model(), tune_model(), compare_models()plot_model()

风度78·2023-01-24 11:03

目标检测之DSOD：SSD算法的优化

而针对特定任务需求的训练样本往往是有限的，通常情况下，目标检测算法会先使用在海量数据（如ImageNet数据集）上训练好的分类模型对需要训练的网络参数进行初始化（pre-train,预训练），然后使用训练样本对网络参数进行微调(fine-tune

BigCowPeking·2023-01-20 15:27

深度学习keras下模型微调提高性能

download/zqx951102/12675542#深度学习010-Keras微调提升性能（多分类问题）参考：https://www.jianshu.com/p/12f831106c68#此处的Fine-tune

zqx951102·2023-01-18 20:29

语音-自监督学习《self-supervised learning》

网络定义：大多数时，网络=特征提取+下游任务 1.1.2.自监督学习：目的就是从一个较难的自监督任务中，训练特征提取模块 1.1.3.下游任务：拼接一个下游网络，例如ctc模块进行语音识别（fine-tune

方付平·2023-01-17 15:20

Recap Language Model (LM) -- 自然语言处理中的预训练，对于Bert、ELMO、GPT的一些思考

GPT引入网络层来fine-tune的方式真的更好吗？为什么GPT的Multi-tasklearning好呢？如何理解Bert的Mask方式（MaskedLM）？

BierOne·2023-01-15 08:32

robustfith函数-最小二乘估计-M估计-Robust regression

robustfitRobustregression（稳健回归）语法b=robustfit(X,y)b=robustfit(X,y,wfun,tune)b=robustfit(X,y,wfun,tune,

meng4411yu·2023-01-14 15:18

清华提出：用于细粒度实体分类的Prompt-Learning，并提出可训练Prompt模板

Prompt-LearningforFine-GrainedEntityTyping链接：https://arxiv.org/pdf/2108.10604.pdf单位：清华大学、首尔大学提取摘要提示学习（Prompt-learning）一个有效的tune

zenRRan·2023-01-13 21:56

prompt范式

Non-NeuralNetwork）--特征工程P2.基于神经网络的完全监督学习(FullySupervisedLearning,NeuralNetwork)--架构工程P3.预训练，精调范式(Pre-train,Fine-tune

Jeu·2023-01-13 01:49

NLP新范式 prompt【0】

NLP新范式prompt【0】与使用具体的分类器的传统Fine-tuning不同，基于prompt的fine-tune直接使用预训练的模型来执行分类或回归的预训练任务。

Pin_BOY·2023-01-13 01:48

OUC软件工程实验四：猫狗大战

本次实验使用fine-tune的VGG网络进行测试(因为原网络的分类结果是1000类，所以这里进行迁移学习，即固定前面若干层，作为特征提取器，只重新训练最后两层）。

ES_Rt·2023-01-11 09:53

LayoutLMv2: Multi-modal Pre-training for Visually-rich Document Understanding

不同于普通的LayoutLM模型，在fine-tune阶段结合视觉嵌入，LayoutLMv2在pre-train阶段集成视觉信息。

Tsukinousag1·2023-01-11 02:01

Bert实战之文本分类（附代码）

Bert实战之文本分类1、概要2、Bert怎么用2.1fine-tune（微调）2.2featureextract（特征抽取）3、coding3.1基于fine-tune的文本分类3.2基于featureextract

明子哥哥·2023-01-09 09:04

元学习论文解读 | Repurposing pretrained models for robust out-of-domain few-shot learning, ICLR2022

然而在实践中，在元训练集上进行re-train或fine-tune可能是行不通的，并且测试任务可能来自不同的分布（cross-domain），所以元测试的优化步长不一定要和元训练一致。

RitaRao·2023-01-08 10:37

NLP-预训练语言模型

文章目录发展历程迁移学习预训练、精调范式（Pre-train,Fine-tune)发展历程神经语言模型→浅层次词向量→深层次词向量→预训练语言模型神经语言模型\to浅层次词向量\to深层次词向量\to预训练语言模型神经语言模型

◝(⑅•ᴗ•⑅)◜..°♡·2023-01-08 09:20

srs+rtmp和nginx+rtmp推流延时比较

av_opt_set(pCodecCtx->priv_data,“preset”,“ultrafast”,0);av_opt_set(pCodecCtx->priv_data,“tune”,“zerolatency

、、、、南山小雨、、、、·2023-01-06 17:07

文本表达进击：从BERT-flow到BERT-whitening、SimCSE

很多NLP任务都会直接在BERT的基础上做一个fine-tune，构建一个baseline模型，既快捷也使用，但BERT在做文本表达任务时也有一些明显的缺点。

PaperWeekly·2023-01-05 10:13

(学习周记1)论文eXtreme Multi-label Text Classification和Fine-tune BERT for Text Classification

一、X-BERT：eXtremeMulti-labelTextClassificationusingBERT本篇论文数据、代码和预训练模型获取地址:[https://github.com/OctoberChang/X-BERT]AbstractExtrememulti-labeltextclassification(XMC)超级多标签的文本分类问题，简称XMC，是从一个超级大的标签集中选取与文本最

烈士和小丑·2023-01-04 15:36

Pytorch—模型微调（fine-tune）

随着深度学习的发展，在大模型的训练上都是在一些较大数据集上进行训练的，比如Imagenet-1k，Imagenet-11k,甚至是ImageNet-21k等。但我们在实际应用中，我们自己的数据集可能比较小，只有几千张照片，这时从头训练具有几千万参数的大型神经网络是不现实的，因为越大的模型对数据量的要求越高，过拟合无法避免。因为适用于ImageNet数据集的复杂模型，在一些小的数据集上可能会过拟合，

ytusdc·2023-01-03 09:27

对Fast R-CNN指出Spp-net不能fine tune的一些理解

hututufandou·2023-01-01 12:25

如何从大型模型（BART）fine tune一个小模型及代码实现

finetune一个小模型及代码实现文本自动摘要评价方法-金字塔方法pytorch使用BART模型进行中文自动摘要目录系列文章摘要自动摘要目前的问题seq2seq模型BARTFine-TuneFine-Tune

keep-hungry·2022-12-30 21:37

Fine-tune BERT for Extractive Summarization代码复现数据处理篇

疫情期间在家学习，期间学习到Fine-tuneBERTforExtractiveSummarization。将bert模型运用于抽取式文本摘要中，第一部分是数据处理篇。代码复现需要的文件包，原论文都会提供的有，其GitHub链接数据集因为谷歌云盘下载起来比较麻烦，像bert_data、cnn/dailymail数据集在下方可寻。一、环境要求pytorch=1.4.0,python=3.6另外需要安

左手指月·2022-12-30 21:03

transformers库中使用DataParallel保存模型参数时遇到的问题记录

pytorch中使用DataParallel保存模型参数时遇到的问题记录之前使用Transformers库中的Bert模型在自己的文本分类任务上使用Transformers库里的Trainer方式进行了Fine-tune

11好好学习，天天向上·2022-12-30 09:57

自定义神经网络入门-----Pytorch

类全连接层感知机类使用nn.Sequential进行构造使用randn函数进行简单测试损失函数nn.functionalnn.optim模型处理网络模型库torchvision.models模型Fine-tune

Miracle Fan·2022-12-30 08:39

TensorFlow训练分类模型及Finetune实操

这篇文章关注的重点是如何使用TensorFlow在自己的图像数据上训练深度学习模型，主要涉及的方法是对已经预训练好的ImageNet模型进行微调(Fine-tune）。

Mirinda_cjy·2022-12-28 07:42

基于全卷积孪生网络的目标跟踪算法SiamFC

在这之前的一些深度学习算法中都需要在新视频上进行微调（即onlinetraining），以学习到新视频中目标的特征，但是fine-tune会花费很多时间，无法做到real-time。

汐梦聆海·2022-12-27 02:57

了解CV和RoboMaster视觉组（五）目标跟踪：基于深度学习的方法

[email protected]文章目录5.4.4.NN-Based5.4.4.1.特征提取模块5.4.4.2.候选区域生成5.4.4.3.分类器/回归器(fine-tune)5.4.4.4.端到端方法

HNU跃鹿战队·2022-12-27 02:26

NLP-D8-李宏毅机器学习---预训练模型问题&adaptation&explainable AI&RL&learningmap

一共讲了两个问题，以及相应解决方法：1、数据量小，模型难以fine-tune的问题2、参数量过大问题其中我产生了两个问题：1、promt-tuning和fine-tuning有什么不同？

甄小胖·2022-12-25 21:31

Tensorflow模型保存、加载和fine-tune

一、保存Tensorflow模型：1.保存文件说明Tensorflow模型主要包含网络的设计（图）和训练好的各参数的值等。所以，Tensorflow模型有两个主要的文件：1)graph.pbtxt:这其实是一个文本文件，保存了模型的结构信息2)checkpoint文件:其实就是一个txt文件，存储的是路径信息3).ckpt-*.meta:其实和上面的graph.pbtxt作用一样都保存了graph

Tina Tang·2022-12-24 19:52

文本分类pytorch Bert fine tune

基于Bert预训练模型的文本分类finetune环境python==3.7torch==1.7.1transformers==4.9.2scikit-learn==0.21.3tensorboard==2.5.0pandasnumpy构建数据集将数据放到如下图格式的dataframe中，label对应的数字为每种类别的下标。randomseed设置importtorchimportnumpyasn

yuhengshi·2022-12-24 14:59

bert做文本摘要_Fine-tune BERT for Summarization: BERT和文本摘要

BERT论文系列导读导读文本摘要主要分为抽取式文本摘要和生成式文本摘要，抽取式文本摘要因为发展的时间比较长，因此在工业界应用的范围比较广。比较常用的抽取式文本摘要的算法就是Textrank，但是呢，本文要介绍一篇和BERT相关的抽取式摘要的模型。当然作为对比，本文也介绍了另一篇文章，结合了Textrank和BERT的模型，希望对大家有所启发。BertWithSummarization首先介绍一下模

pukkuksong·2022-12-24 14:26

【NLP】如何在文本分类任务中Fine-Tune BERT

问题BERT在许多自然语言理解（NLU）任务中取得了惊人的成果，但它的潜力还有待充分挖掘。目前很少有如何能进一步提高BERT性能的研究，因此，如何通过一些技巧和方法最大限度的提升BERT在文本分类任务中的性能是此次研究的重点。目标在使用BERT做textclassification的时候，我们利用[CLS]的hiddenstate输出做为整个输入文本的representation，通过一层task

风度78·2022-12-24 14:21

transformers BERT等模型在自己的数据集上fine-tune方法

这时候，将预训练语言模型在你自己的语料上再次fine-tune（MaskedLanguageModel等任务），能够进一步提升效果。本文将介绍fine-tune的基本方法。

扣德夫特·2022-12-24 14:20

bert从入门到实践笔记本

‘工作中不断更新ing…’-----------------过程中发现的一些好文章：----------------bert原理bert的fine-tune在notebook里运行一个.py文件的方法一

.小简.·2022-12-23 16:52

从零开始实现一个端到端的机器学习项目[6]

Hands-onMachineLearningwithScikit-Learn,Keras&TensorFlow》的笔记文章目录3选择和训练模型3.1训练和评估训练集3.2使用交叉验证来更好地进行评估3.3微调（fine-tune

不爱写程序的程序猿·2022-12-20 21:49

Pytorch实现Bert/RoBerta微调（以MELD数据集为例）

（4）如何保存fine-tune好的BERT/ROBERTA模型参数，以及如何在特征提取阶段使用这些参数？（5）逐层微调以MELD数据集为例的微调RoB

dognoline·2022-12-19 09:17

【论文精度】生成式预训练模型——BART（Bidirectional and Auto-Regressive Transformers）

BidirectionalandAuto-RegressiveTransformers）论文：BART引用：【知乎】生成式预训练之BART对于文本理解任务（NaturalLanguageUnderstanding），语言预训练模型+下游任务fine-tune

marasimc·2022-12-18 12:31

初探TVM--TVM优化resnet50

测试用TVM编译出的resnet50在CPU上的效果测试resnet50在CPU上的效果编译后的resnet50模型图像预处理运行编译后的模型查看输出结果resnet50自动调优模型调优auto-tune

shaojie_wang·2022-12-17 08:09

极智AI | 三谈昇腾 auto tune

欢迎关注我的公众号[极智视界]，获取我的更多笔记分享大家好，我是极智视界，本文再来谈谈昇腾autotune。写这篇主要是为了填这两篇《谈谈昇腾autotune》、《再谈昇腾autotune》自己留的坑，之前两篇其实主要在说昇腾autotune的一些由来，以及autotune搜索算法的原理，感兴趣的同学可以去瞧瞧~ 这篇主要写昇腾autotune怎么用。整个昇腾autotune模块的运行流程

极智视界·2022-12-16 18:46

01 Datafountain_云状识别_top1

01Datafountain_云状识别_top1摘要1云状识别算法总体思路和架构2云状识别算法具体实现过程2.1图像增强：2.2多图像尺寸训练：2.3选用densenet161预训练模型进行fine-tune

CV_七少·2022-12-13 20:08

推荐频道

Tune