Tune

TensorFlow（十七）训练自己的图像识别模型（基于VGG16）

下面将会使用VGG16为基础，来微调（Fine-tune）模型达到训练我们自己的数据的目的。这里将会分类一些地表的卫星图片来区分森林、水域、岩石、农田、冰川和城市区域。
viafcccy·2022-10-30 14:21

李宏毅机器学习--self-supervised：BERT、GPT、Auto-encoder

Self-SupervisedLearningBERTBERT训练maskinginput（随机遮盖一些输入单位）nextsentenceprediction（预测前后两个句子是否相接）BERT的fine-tune
iwill323·2022-10-28 20:28

百度艾尼（ERNIE）常见问题汇总及解答

A1：（1）基于ERNIE模型Fine-tune后，直接能做的任务如下：•词性标注任务，
百度-NLP·2022-10-26 09:59

知识蒸馏相关技术【模型蒸馏、数据蒸馏】以ERNIE-Tiny为例

直接使用ERNIE-Tiny系列轻量模型fine-tune，效果可能不够理想。如果采用数据蒸馏策略，又需要提供海量未标注数据，可能并不具备客观条件。
汀、·2022-10-26 09:58

2022李宏毅机器学习深度学习学习笔记第五周--BERT

文章目录前言一、pre-train模型二、Howtofine-tune总结前言介绍什么是pre-train模型，有了模型后怎么做fine-tune以及pre-train模型怎么被训练出来。
hehehe2022·2022-10-24 18:36

EasyNLP发布融合语言学和事实知识的中文预训练模型CKBERT

我们发现，知识注入的过程都伴随着很大规模的知识参数，下游任务fine-tune的时候仍然需要外部数据的支撑才能达到比较好的效果，从而无法
·2022-10-19 11:03

李宏毅机器学习（八）自编码器（Auto-encoder）

这个时候我们只需要对在自监督中训练的模型进行fine-tune就可以用在下游任务中了！
追赶早晨·2022-10-10 10:58

【论文翻译】Rethinking Network Pruning—under the Pre-train and Fine-tune Paradigm

RethinkingNetworkPruning—underthePre-trainandFine-tuneParadigm预训练与微调范式下网络修剪的再思考论文链接代码链接摘要基于transformer的预训练语言模型显著地提高了各种NLP任务的性能。虽然这些方法是有效的，但通常对于资源有限的部署场景来说模型太大了。研究的思路开始致力于在预训练再微调的范式下应用网络修剪技术。然而,在BERT等t
清风2022·2022-10-10 07:01

Bert在fine-tune训练时的技巧：①冻结部分层参数、②weight-decay (L2正则化)、③warmup_proportion、④

作为一个NLPer，bert应该是会经常用到的一个模型了。但bert可调参数很多，一些技巧也很多，比如加上weight-decay,layer初始化、冻结参数、只优化部分层参数等等，方法太多了，每次都会纠结该怎么样去finetune，才能让bert训练的又快又好呢，有没有可能形成一个又快又好又准的大体方向的准则呢。于是，就基于这个研究、实践了一番，总结了这篇文章。1.使用误差修正，训练收敛变快，效
u013250861·2022-10-07 12:51

优秀开源项目汇总

基础软件A-Tune华为系统性能自优化软件https://www.oschina.net/p/a-tuneAnolisOS龙蜥社区龙蜥操作系统https://www.oschina.net/p/anolisosApacheLinkisApache
废柴程序员·2022-09-29 14:06

How to fine tune the parameters?

WhatisLightGBM,Howtoimplementit?Howtofinetunetheparameters?Hello,DataScienceisthefastestgrowingfieldintheworld.Everydaytherewillbealaunchofbunchofnewalgorithm,someofthosefailsandsomeachievethepeakofsu
dby_freedom·2022-09-27 07:03

如何鉴别硬盘是否是全新的，及HD Tune的使用方法

最近新买了一个移动硬盘，就想看看硬盘是否是全新的，现在记录一下鉴别方法。一.移动硬盘的信息二.测试软件我用的是大家公认的HDTune软件，最好去官网下载，其他网站下载感觉都是一些乱七八糟的软件，虽然这个软件收费，但是第一次下载可以免费试用15天，对于我这种完全够用了。官网下载地址：DownloadHDTune5.75-free-latestversion三.硬盘检测说明1.打开软件因为我是昨天下载
人……杰·2022-09-24 10:27

Bert系列 源码解读 四 篇章

Bert系列（一）——demo运行Bert系列（二）——模型主体源码解读Bert系列（三）——源码解读之Pre-trainBert系列（四）——源码解读之Fine-tune转载自：https://www.jianshu.com
weixin_30883777·2022-09-02 10:06

BERT模型的深度解读

一、BERT整体概要Bert由两部分组成：预训练（Pre-training）:通过两个联合训练任务得到Bert模型微调（Fine-tune）：在预训练得到bert模型的基础上进行各种各样的NLP二、预训练输入经过
世界划水锦标赛冠军·2022-09-02 10:36

Fine-tunning适用情况

https://www.quora.com/How-do-I-fine-tune-a-Caffe-pre-trained-model-to-do-image-classification-on-my-own-dataset
知海无涯学无止境·2022-08-18 07:53

si446使用记录（二）：使用WDS3生成头文件

概述二、生成头文件三、修改配置3.1根据注释修改3.1.1速率、带宽、频偏3.1.2基频3.1.3使能中断3.2具体指令修改3.2.1RF_GPIO_PIN_CFG3.2.2RF_GLOBAL_XO_TUNE23.2.3RF_INT_CTL_ENABLE
何事误红尘·2022-07-19 20:47

详述BERT fine-tune 中文分类实战及预测

这几天在研究bertfine-tune相关的知识，现在基本熟悉了，也踩了一些坑，记录一下，一是总结，二是备忘。bert的finetune主要存在两类应用场景：分类和阅读理解。
子春-寒·2022-06-26 07:20

小样本如何更好的在BERT上fine-tune

fine-tuneRevisitingFew-sampleBERTFine-tuning阅读笔记，论文地址：https://arxiv.org/abs/2006.059871摘要这篇论文主要探讨了如何更有效地使用BERT在小样本数据集上进行fine-tune
带着小板凳学习·2022-06-26 07:23

《错误手记-01》 facenet使用预训练模型fine-tune重新训练自己数据集报错

环境信息：windows10+python3.5+tensorflow1.6.0问题描述：在自己的训练集上跑train_softmax.py.参数：--logs_base_dirF:/work/runspace/log/--models_base_dirF:/dataset/facenet/model/my/--data_dirF:/dataset/vggface2_test/my_vgg_mtc
hymanSlime·2022-06-26 07:22

Keras学习之：全网最详细，一文包你会！使用 Keras 自带的模型实现迁移学习

实现步骤导入模块加载数据集调整数据集中图片的尺寸数据增强/使用简单的原始数据加载Keras中的Inceptionv3模型模型删改知识迁移第一种手段：TransferLearning第三种手段：Fine-tune
暖仔会飞·2022-06-20 07:00

深度学习调参技巧及各种机器学习知识

详细介绍了几大优化器算法及其特点）见之底部：面向小数据集构建图像分类模型-Keras中文文档通过下面的方法你可以达到95%以上的正确率：更加强烈的数据提升更加强烈的dropout使用L1和L2正则项（也称为权重衰减）fine-tune
UryWu·2022-05-08 07:47

pytorch 加载使用预训练模型和 fine tune 模型微调(冻结一部分层)实战

这两天在学习pytorch的加载预训练模型和finetune为了方便以后查看，特写成博客。1.pytorch预训练模型以及修改pytorch中自带几种常用的深度学习网络预训练模型，torchvision.models包中包含alexnet、densenet、inception、resnet、squeezenet、vgg等常用网络结构，并且提供了预训练模型，可通过调用来读取网络结构和预训练模型（模型
平夕1009·2022-05-07 07:12

深度学习基础（七）Self-Taught Learning to Deep Networks 分类...

微调（fine-tune）指的的是通过输入有标记的再通过牛顿下降法来调整参数从而减小训练误差什么时候可以使用微调呢？当然是有大量的有标记样本啦。
dengxundong1074·2022-04-28 07:14

Pytorch(colab端)——基于VGG模型迁移学习的猫狗大战

因为原网络的分类结果是1000类，所以这里进行迁移学习，对原网络进行fine-tune（即固定前面若干层，作为特征提取器，只重新训练最后两层）。
✎﹏ℳ๓₯㎕/heart·2022-04-11 09:58

X264参数详解

1、预设值preset:fast/slow，fast一般用于实时通讯，要求速度；slow一般用于点播，保证质量tune:质量相关，比如：用于电影、动画等不同2、帧相关参数keyint/min-keyint
醉饮千觞不知愁·2022-03-16 18:57

Raki的读paper小记：How to Fine-Tune BERT for Text Classification?

咕咕咕我疯狂的咕咕咕，最近狠狠摆烂了几天，决定写一下blog！摘要与总结在本篇paper中，作者做了详尽的实验来研究文本分类中不同Bert的微调方法，并提供了一个通用的解决方案最终通过实验发现：Bert的最顶层对于文本分类更加有效在适用层级别的学习率衰减的情况下，Bert可以很好的克服遗忘的问题Within-task和in-domain的预训练可以显著提高表现一个事先的多任务fine-tuning
爱睡觉的Raki·2022-03-14 07:40

keras设置超参数_使用keras和ray tune进行超参数调整

keras设置超参数Inmypreviousarticle,Ihadexplainedhowtobuildasmallandnimbleimageclassifierandwhataretheadvantagesofhavingvariableinputdimensionsinaconvolutionalneuralnetwork.However,aftergoingthroughthemodel
weixin_26756255·2022-02-22 07:25

Thinking in java -Chapter 8 多态

Chapter8多态首先Music.tune()方法接受一个Instrument引用并调用这个引用的play()方法，当传入一个Wind时，Wind是Instrument（有一个play方法）的一个导出类
泡泡爱上巧克力_7122·2022-02-19 07:55

tensorboard ckpt pb 模型的输出节点_Tensorflow笔记：模型保存、加载和Fine-tune

前言尝试过迁移学习的同学们都知道，Tensorflow的模型保存加载有不同格式，使用方法也不一样，新手会觉得乱七八糟，所以本文做一个梳理。从模型的保存到加载，再到使用，力求理清这个流程。1.保存Tensorflow的保存分为三种：1.checkpoint模式；2.pb模式；3.saved_model模式。1.1先假设有这么个模型首先假定我们已经有了这样一个简单的线性回归网络结构：import我们来
weixin_39578516·2022-02-17 07:47

python 常见创建文件目录方式

ifos.path.exists(path):shutil.rmtree(path)os.mkdir(path)if__name__=='__main__':#savefine-tunedatamkdir(config.FINE_TUNE_DATA
谢小帅·2022-02-09 14:21

1月论文推荐：Hyper-Tune 满足大规模高效分布式自动超参数调整的 SOTA 架构

为了解决这个问题，北京大学、苏黎世联邦理工学院和快手科技的研究团队提出了Hyper-Tune，这是一种高效、健壮的分布式超参数调优框架，具有自动资源分配、异步调度和多保真优化器等系统优化插件。
·2022-01-22 10:52

pytorch学习18：模型微调Fine tuning和固定层向量导出hook

为了解决这个问题，我们可以找一个别人已经训练好的现成模型，换成自己的数据，调整一下参数，再训练一遍，这个操作就是微调（fine-tune）为什么要微调对于数据集很小的情况，从头开始训练具有千万参数的大型神经网络是是不现实的
HMTT·2021-09-29 10:47

声声慢

Tune:Slow,SlowSong《声声慢》LiQingzhao李清照IlookforwhatImiss;Iknownotwhatitis.Ifeelsosad,sodrear,Solonely,withoutcheer
沉默的叶·2021-06-22 13:31

卓德外汇登上亚航的飞机启航啦！！！亚航为合作伙伴卓德打造了一款卓德涂鸦的客机！！

此次的合作提供了双方互利共赢的投资和商业机会，Tune集团将把所有金融现货与期货产品，如外汇、大宗商品像是原油，交由Charterprime卓德交易，以降低其成本且对冲变化莫测的市场。
卓德小夏·2021-06-05 09:22

ACL 2021｜美团提出基于对比学习的文本表示模型，效果相比BERT-flow提升8%

为解决BERT原生句子表示这种“坍缩”现象，美团NLP中心知识图谱团队提出了基于对比学习的句子表示迁移方法——ConSERT，通过在目标领域的无监督语料上Fine-tune，使模型生成的句子表示与下游任务的数据分布更加适配
美团技术团队·2021-06-04 15:56

荆的ScalersTalk第四轮新概念朗读持续力训练Day41 20181118

tune一场表演。练习感悟（做完事情的感触和吐槽，用时）：用时，中间联系客服如何调大电脑字体无果。同时有被人打断。用时100min。
03748dc97d56·2021-06-04 12:20

ACL 2021｜美团提出基于对比学习的文本表示模型，效果提升8%

为解决BERT原生句子表示这种“坍缩”现象，美团NLP中心知识图谱团队提出了基于对比学习的句子表示迁移方法——ConSERT，通过在目标领域的无监督语料上Fine-tune，使模型生成的句子表示与下游任
美团技术团队·2021-06-03 20:07

pytorch fine-tune 预训练的模型操作

之一:torchvision中包含了很多预训练好的模型，这样就使得fine-tune非常容易。本文主要介绍如何fine-tunetorchvision中预训练好的模型。
·2021-06-03 10:20

基于Python的图像分类-Finetune训练模型

——注意：前面的一到八，八个步骤使用自己的中草药数据集，介绍如何使用PaddleHub进行Fine-tune迁移训练图像分类。
神迹小卒·2021-05-26 21:57

古词英译006. 无心剑英译柳永《蝶恋花》

蝶恋花Tune:"ButterfliesLingeringoverFlowers"柳永ByLiuYong伫倚危楼风细细，望极春愁，黯黯生天际。草色烟光残照里，无言谁会凭栏意。
无心剑·2021-05-15 08:11

使用tune.run怎么获取model summary的信息

使用rllib的时候，如果使用PPOTrainer或者某一个其他的trainer，在执行trainer.train()的时候，会打印modelsummary，也可以显式调用获取modelsummary的API，就像下面这样>>>fromray.rllib.agents.ppoimportPPOTrainer>>>trainer=PPOTrainer(env="CartPole-v0",config
born-in-freedom·2021-05-06 18:24

270亿参数的“中文版GPT-3”来了！阿里达摩院发布超大规模语言模型PLUG

自18年谷歌BERT横空出世以来，预训练语言模型一跃成为自然语言处理领域的研究热点，海量数据与大规模模型的预训练+少量下游任务数据微调（Pre-training+Fine-tune）也成为NLP任务的新范式
AI科技大本营·2021-04-19 16:12

深度学习移动端在线训练 --- 基于MNN的端侧Finetune实现

fine-tune在端侧应用难道不是刚需？端侧推理的实现相对简单，MNN官方已有完善的文档参考。
Ctrlturtle·2021-04-15 17:36

tf第五讲：模型保存与加载（tf.train.Saver()&tf.saved_model）及fine_tune(梯度冻结)

文章目录1.tf.train.Saver()1.1说明1.2模型保存1.3模型的加载1.4fine_tune（冻结梯度）2.tf.save_model2.1模型保存2.2构造signatureDefprotobuf2.3
weixin_43178406·2021-03-10 15:06

李宏毅DLHLP.30.Controllable Chatbot

文章目录介绍存在的问题法1：DirectlyFine-tune法2：ControlbyConditionPersona-basedmodelConditionalTransformerLanguagemodel
oldmao_2001·2021-02-16 11:14

Pytorch学习笔记

TransferLearning(迁移学习)和Fine-tune的区别3几个超参数总结4判断模型达到瓶颈5Adam优化器的使用6模型评估1Autograd过程解析z是一个Tensor变量，当我们执行z.backward
StriveQueen·2021-01-22 14:26

Ray Tune: 炼丹师的调参新姿势

在机器学习的大多数漂亮的结果背后，是一个研究生(我)或工程师花费数小时训练模型和调整算法参数。正是这种乏味无聊的工作使得自动化调参成为可能。在RISELab中，我们发现越来越有必要利用尖端的超参数调整工具来跟上最先进的水平。深度学习性能的提高越来越依赖于新的和更好的超参数调整算法，如基于分布的训练(PBT)，HyperBand，和ASHA。Source:基于分布的训练大大提高了DeepMind在许
HarryZhu·2021-01-17 21:17

Ray Tune: 炼丹师的调参新姿势

在机器学习的大多数漂亮的结果背后，是一个研究生(我)或工程师花费数小时训练模型和调整算法参数。正是这种乏味无聊的工作使得自动化调参成为可能。在RISELab中，我们发现越来越有必要利用尖端的超参数调整工具来跟上最先进的水平。深度学习性能的提高越来越依赖于新的和更好的超参数调整算法，如基于分布的训练(PBT)，HyperBand，和ASHA。Source:基于分布的训练大大提高了DeepMind在许
HarryZhu·2021-01-17 20:55

[tensorflow2.0]使用Keras Tune进行超参数调优

  KerasTuner是一个库。Tuner组件用于调节模型的超参数。为您的机器学习（ML）应用程序选择正确的超参数集的过程称为超参数调整或超调整。Tuner组件广泛使用PythonKerasTunerAPI来调节超参数。注：无论建模API如何，KerasTuner库都可用于超参数调节，而不仅限于Keras模型。  超参数是控制训练过程和ML模型的拓扑的变量。这些变量在训练过程中保持不变，并直接影
帅兄心安否·2021-01-11 13:43

Ray Tune模型调参：以一个简单的二分类模型为例

以Titanic乘客生存预测任务为例，进一步熟悉RayTune调参工具。titanic数据集的目标是根据乘客信息预测他们在Titanic号撞击冰山沉没后能否生存。本示例的基础代码参考了下面两篇文章：1-1,结构化数据建模流程范例（一个不错的PyTorch教程）HowtouseTunewithPyTorch也可以看一下上一篇文章：PyTorch+RayTune调参教程中的原始代码如下：importn
烟雨风渡·2021-01-07 11:30
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他