Tune 第5页

迁移学习冻结部分网络层及修改网络层方法

part1model.trainable=Truefine_tune_at=6forlayerinmodel.layers[:fine_tune_at]:layer.trainable=Falsepass

亮白de饭团·2022-12-13 01:02

MAML (Model-Agnostic Meta-Learning) 解读

Meta-Learning：在大量的学习任务上训练模型，从而让模型仅用小数量的训练样本就可以学习新任务（加速fine-tune）。不同的任务有不同的模型。需要考虑将先前的经验与少量

千羽QY·2022-12-12 20:37

Incremental Learning of Object Detectors without Catastrophic Forgetting 论文阅读

本文概览CNN用于目标检测任务的缺陷——类别遗忘：假设CNN模型A为在一个物体检测训练集1上训练得到的性能较好的检测器，现在有另外一个训练集2，其中物体类别与1不同，使用训练集2在A的基础上进行fine-tune

aiqiu_gogogo·2022-12-12 16:15

基于PaddleOCR训练模型识别数字验证码

下载数字图形验证码6.标注数字图形验证码7.准备数据字典8.配置模型训练参数9.训练模型10.测试模型11.导出模型12.应用模型序言以软考成绩查询数字验证码为例，学习如何使用PaddleOCR库调优（fine-tune

eton_liu·2022-12-12 14:13

【迁移学习】

总览图4月21日，迁移学习，2017年很火，以为会研究的越来越多，实则现在初了Fine-tune在用的话，其余貌似不在工业界被使用（只是感觉，没有出处，大家自我辨识）主要是想知道一般迁移学习有哪些方式和应用

快乐成长吧·2022-12-12 11:51

Rllib学习[1] --rllib基本指令

文章目录Ray介绍Rllib的安装RLlib介绍RLlib框架使用trainer进行训练trainer参数设置获取训练好的模型/policypolicy模型参数设置直接使用tune进行强化学习引用Ray

最適当承诺·2022-12-11 23:01

pytorch 笔记：使用Tune 进行调参

自动进行调参，我们以pytorch笔记：搭建简易CNN_UQI-LIUWJ的博客-CSDN博客的代码为基础，进行output_channel和learningrate的调参1导入库fromfunctoolsimportpartialimportnumpyasnpimportosimporttorchimporttorch.nnasnnimporttorch.nn.functionalasFimpo

UQI-LIUWJ·2022-12-11 21:21

【Transformers】BertModel模块的输入与输出

背景通常我们使用bert进行模型fine-tune时，大多是使用Transformer这个包，官方地址：https://huggingface.co/.如果想使用Bert获取任务对应的动态词向量，那么这时我们就需要了解

科皮子菊·2022-12-10 20:51

chatGPT笔记

followtheuser’sinstructionshelpfullyandsafelyinstructGPT跟GPT-3的网络结构是一样的，区别在于训练阶段的不同，instructGPT使用了标注数据进行fine-tune

zh515858237·2022-12-09 10:21

[NLP] 资源整理 -- Bert预训练fine-tune(微调)入门

博客1.一篇中文个人博客，结合了kaggle比赛的一个新闻分类任务，示例的代码可以直接运行，推荐。进击的Bert2.一篇博客园的博客BERT预训练模型及文本分类3.一篇英文博客BERTWordEmbeddingsTutorial官方资源1.transformers预训练模型2.huggingface-transformers3.huggingface-pretrainedmodels4.huggi

YangZ_L·2022-12-04 07:00

知识图谱：【知识图谱问答KBQA（三）】——Prompt Learning

3.Pre-train,Fine-tune先在大数据集上预训练，再根据特

J_Xiong0117·2022-12-03 09:23

【目标检测】SSD: Single Shot MultiBox Detector 模型fine-tune和网络架构

而方法2，说的是fine-tune已经训练好的SSDmodel，最近没来得及进行调参，初次实验效果有限，先把过程和原理记录下来，免得忘了，然后还会说下SSD的网络架

苍穹sky·2022-12-03 08:02

MXNet通过fine-tune VGG网络对Cifar-10分类

MxNet中通过mx.gluon.model_zoo.vision下载的pre-trained模型是在imagenet1k上训练的，本文就使用下载的预训练模型通过fine-tune对Cifar-10进行分类

傻神妮妮·2022-12-02 20:55

视觉Transformer中的位置编码方式

这种方式的不足是序列化长度固定了，在遇到较大分辨率图像时可以对学习好的positionalembedding进行插值然后对模型进行fine-tune。

阳光素描·2022-12-02 18:11

bert 自己语料预训练pre-train、微调fine-tune；tensorflow/pytorch矩阵点乘、叉乘区别

1、bert预训练模型加自己语料再训练pre-train参考：https://github.com/zhusleep/pytorch_chinese_lm_pretrainhttps://github.com/bojone/bert4keras/tree/master/pretraininghttps://github.com/xv44586/toolkit4nlp/tree/master/pre

loong_XL·2022-12-02 16:08

python : 超参数优化工具笔记 Tune with PyTorch 在PyTorch中使用

/data")load_data(data_dir)#加载数据config={"l1":tune.sample_from(lamb

FakeOccupational·2022-12-02 02:10

Learning to Tune XGBoost with XGBoost

LearningtoTuneXGBoostwithXGBoost(学习用XGBoost调优XGBoost)概述：研究了元学习技术是否可以使用连续减半（连续二分法）(SH)更有效地调优机器学习模型的超参数提出了SH算法的一个新变体MeSH(me是meta-regressors，元回归器)，它使用元回归器来确定在每一轮中应该消除哪些候选配置。将MeSH应用于梯度提升决策树模型的超参数调优问题。**！元

我要当太空人HcZz·2022-12-01 13:52

EasyNLP发布融合语言学和事实知识的中文预训练模型CKBERT

我们发现，知识注入的过程都伴随着很大规模的知识参数，下游任务fine-tune的时候仍然需要外部数据的支撑才能达到比较好的效果，从而无法在云环境中很好的提供给用户进

阿里云大数据AI技术·2022-11-30 13:05

Prefix-Tuning: Optimizing Continuous Prompts for Generation

1.本文提出了Prefix-Tuning，一种轻量级的自然语言生成任务的fine-tune替代方案，使语言模型参数保持冻结状态，但是优化了一个小的连续的特定于任务的向量（这个向量称之为前缀）。

一直在路上的程序猿·2022-11-30 08:16

[2022]李宏毅深度学习与机器学习第七讲（必修）-Self-Supervised Learning

Self-SupervisedLearningBertDownstreamTasks为什么Bert可以工作Multi-lingualBertGPT其他的任务BeyondTextWhatispre-trainmodelHowtofine-tune

走走走，快去看看世界·2022-11-30 05:51

yolov5剪枝实战5:模型剪枝和fine-tune

文章目录1.网络剪枝2.剪枝后的模型微调2.1finetune训练2.2测试2.3性能测试1.网络剪枝执行命令:pythonprune.py--percent0.5--weightsruns/train/yolov5s-sparse/weights/last.pt--da

@BangBang·2022-11-28 23:53

加载kears_tune报错 ‘tensorflow.keras.layers.experimental.preprocessing‘ has no attribute ‘Random

加载kt时报错。分析查找tensorflow官方手册，2.4.0版本tenssorflow有tf.keras.layers.experimental.preprocessing.RandomRotationAPI。察看对象在github上的源码。找到image_preprocessing.py文件。查找本地文件。在augment.py中调用了processing.RandomRotatio

帅兄心安否·2022-11-28 01:24

提升模型性能的几个方法以及训练集测试集验证集的划分与作用

一、提升模型性能的方法一般在四个方向：1.DataAugmentation2.WeightInitialization3.Transferlearning+Fine-tune4.Ensemble/ModelFusion

shu_qdHao·2022-11-26 17:19

Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks（MAML）研读笔记

这里是引用MAML全文目录论文地址摘要介绍相关概念model-agnosticN-wayK-shotTask5-way5-shot的实验设置算法流程fine-tune算法流程参考文献论文地址https:

joejoeqian·2022-11-25 16:34

Chapter7-2_BERT and its family - Introduction and Fine-tune

文章目录1Whatispre-trainmodel2Howtofine-tune2.1Input2.2Output2.3Fine-tune2.4WeightedFeatures3Whyfine-tune

zjuPeco·2022-11-25 15:50

课程向：深度学习与人类语言处理 ——李宏毅，2020 (P19)

BERTanditsfamily：IntroductionandFine-tune李宏毅老师2020新课深度学习与人类语言处理课程主页：http://speech.ee.ntu.edu.tw/~tlkagk

挚爱FXJ·2022-11-25 15:45

李宏毅机器学习（七）Bert and its family

技术前瞻在预训练模型上训练Bert，并在我们的数据上fine-tune所需要的模型！就像学习英文一样！应该是通读英文文章后再去做题，而不是先做题再读懂文章！

追赶早晨·2022-11-25 15:11

李宏毅DLHLP.17.BERT and its family.1/2.Introduction and Fine-tune

文章目录介绍Whatispre-trainmodel缘起ContextualizedWordEmbedding趋势参数NetworkArchitectureHowtofine-tuneNLPtasks回顾输入输出Howtofine-tuneAdaptorWeightedFeaturesWhyPre-trainModels?介绍本门课程是2020年李宏毅老师新课：DeepLearningforHum

oldmao_2000·2022-11-25 15:40

论文导读 | 使用预训练语言模型作为知识库的可能性

借助大规模数据集、以Transformer为代表的深度神经网络模型、以及设计好的自监督预训练（pre-train）任务，预训练语言模型展现出了强大的泛化能力，经过微调（fine-tune）后在各个下游任务中得到了优秀的成果

PKUMOD·2022-11-24 15:29

EasyNLP 发布融合语言学和事实知识的中文预训练模型 CKBERT

我们发现，知识注入的过程都伴随着很大规模的知识参数，下游任务fine-tune的时候仍然需要外部数据的支撑才能达到比较好的效果，从而无法在云环境中很好的提供给用户进

阿里云云栖号·2022-11-24 13:55

极智AI | 谈谈昇腾 auto tune

欢迎关注我的公众号[极智视界]，获取我的更多笔记分享大家好，我是极智视界，本文介绍一下谈谈昇腾autotune。 autotune也即自动调优，在AI芯片国产化适配的过程中，你会发现有好几家是基于tvm的拓展。这里昇腾也不例外，所以昇腾的autotune，一切源于TVM。tvm会有几个关键词：自动优化、深度学习编译器、适配多种硬件后端，这里昇腾的autotune最关注的应该就是自动优化。所以，

极智视界·2022-11-24 12:19

PaddleHub--飞桨预训练模型应用工具{风格迁移模型、词法分析情感分析、Fine-tune API微调}【一】

汀、·2022-11-24 05:10

【深度学习与计算机视觉】12、迁移学习

文章目录一、迁移学习简介二、为什么要使用迁移学习三、迁移学习的实现四、迁移学习系统介绍（一）原始数据有标签，目标数据有标签1、模型微调（modelfine-tune）[也叫再优化]（1）保守训练ConservativeTraining

呆呆的猫·2022-11-23 20:06

matlab sift-flow,FCN网络的训练——以SIFT-Flow 数据集为例

在这篇文章之后，我计划还要再写如何fine-tune和制作自己的数据集，以及用自己的数据集fine-tune。

春天里的小蜜蜂·2022-11-23 14:00

FCN网络的训练——以SIFT-Flow 数据集为例（转）

在这篇文章之后，我计划还要再写如何fine-tune和制作自己的数据集

NUIST-Haoda·2022-11-23 14:54

FCN网络的训练 -- 转自http://www.cnblogs.com/xuanxufeng/p/6243342.html

在这篇文章之后，我计划还要再写如何fine-tune和制作自己的数据集

IGIli·2022-11-23 14:22

利用fine-tune的VGG模型实现“猫狗大战”测试

因为原网络的分类结果是1000类，所以这里进行迁移学习，对原网络进行fine-tune（即固定前面若干层，作为特征提取器，只重新训练最后两层）。

龙都—绯红女巫·2022-11-23 12:21

BERT学习汇总（视频）

分为预训练（pre-training）与微调（Fine-tune）。预训练：简单来说就是通过两个任务联合训练得到bert模型。

迷茫，我太迷茫了！·2022-11-23 02:15

课程向：深度学习与人类语言处理 ——李宏毅，2020 (P20)

BERTanditsfamily：IntroductionandFine-tune李宏毅老师2020新课深度学习与人类语言处理课程主页：http://speech.ee.ntu.edu.tw/~tlkagk

挚爱FXJ·2022-11-22 20:42

超参数寻优

超参数寻优文章目录超参数寻优一、集成学习类1.网格搜索2.随机搜索3.贝叶斯优化4.optuna5.hyperopt二、神经网络类1.ray-tune2.optuna一、集成学习类1.网格搜索调用的sklearn

akswyh·2022-11-22 00:25

语音识别预训练wav2vec 2.0

wav2vec2.0采用了预训练、fine-tune思路。如上图所示，将语音x通过一个多层卷积神经网络进行encode成z，然后对z进行mask，如

zephyr_wang·2022-11-21 18:21

Pytorch-4.1 Fine tuning 模型微调

我们先找到一个同类的别人训练好的模型，把别人现成的训练好了的模型拿过来，换成自己的数据，调整一下参数，再训练一遍，这就是微调（fine-tune）。

pengege666·2022-11-21 12:25

pytorch如何精确冻结某一层的参数？

假若我们不想fine-tune这个ber

#苦行僧·2022-11-21 08:39

python炼丹师是什么意思_Ray Tune: 炼丹师的调参新姿势

在机器学习的大多数漂亮的结果背后，是一个研究生(我)或工程师花费数小时训练模型和调整算法参数。正是这种乏味无聊的工作使得自动化调参成为可能。在RISELab中，我们发现越来越有必要利用尖端的超参数调整工具来跟上最先进的水平。深度学习性能的提高越来越依赖于新的和更好的超参数调整算法，如基于分布的训练(PBT)，HyperBand，和ASHA。Source:基于分布的训练大大提高了DeepMind在许

程昱森·2022-11-21 05:22

少样本学习概述及三种经典方法

从迁移学习讲起Pre-train+Fine-tune不同领域数据规模不同，模型表现并不理想，但是:模型浅层可以学到通用特征（深层才学到更为复杂的分类特征）在大规模数据上训练的模型，其底层特征保持较高的通用性迁移学习的下游任务仍然受限于目标域上的数据量小样本学习人如何认识新动物

Pricelesse·2022-11-20 06:35

OCR/STR生僻字数据训练 | PaddleOCR的Fine-tune常见问题汇总（3）

1、印章如何识别？使用带tps的识别网络或abcnet,2.使用极坐标变换将图片拉平之后使用crnn2、多语言的字典里是混合了不同的语种，这个是有什么讲究吗？统一到一个字典里会对精度造成多大的损失？统一到一个字典里，会造成最后一层FC过大，增加模型大小。如果有特殊需求的话，可以把需要的几种语言合并字典训练模型，合并字典之后如果引入过多的形近字，可能会造成精度损失，字符平衡的问题可能也需要考虑一下。

訢詡·2022-11-19 05:52

【目标检测】为什么SPP-Net无法fine-tune卷积层？

一、问题的提出fastrcnn中提到SPP-Net无法fine-tunespppooling层之前那些卷积层，原文如下所示：二、问题的解答严格说，SPP-Net也可以反向传播，但是会复杂很多，所以用connotupdatetheconvolutionallayers其实是不算太准确的说法。何凯明大神原文如下：没有指出不能微调卷积层，只是说只微调了全连接层。Ross大神在FastR-CNN中给出的解

旅途中的宽~·2022-11-19 03:08

神经网络编译器的Tensor优化：auto tune和auto schedule

一般情况下，深度神经网络的计算本质上是一对tensor的计算，例如常见的conv2d的计算本质上是一个7层的for循环，那么底层的硬件，例如内存大小，SM的数量，threads和blocks等都会对最终的for循环造成影响。现存的深度学习框架（例如Tensorflow，PyTorch，MXNet）会将DNN中的计算映射到其底层提供的向量计算内核库（例如cuDNN，MKL-DNN）来实现高性能。但是

free1993·2022-11-18 14:26

FINE-TUNING DISTORTS PRETRAINED FEATURES AND UNDERPERFORMS OUT-OF-DISTRIBUTION

将预先训练的模型转移到下游任务时，有两种常用的方法是微调(更新所有模型参数)和线性探测(更新最后一个线性层)(tuningtheheadbutfreezinglowerlayers)fine-tune的好处

Tsukinousag1·2022-11-01 03:40

Looking Beyond GPUs for DNN Scheduling on Multi-Tenant Clusters（论文笔记）

文章目录问题设计乐观分析Synergy-OPTSynergy-Tune问题目前的深度神经网络（DNN）假定GPU是支配资源，其他的资源（CPU、memory等）都被和GPU数量等比例地分配给任务。

可以叫我城哥吗·2022-11-01 03:05

推荐频道

Tune