Fine-tune 第4页

BERT学习汇总（视频）

分为预训练（pre-training）与微调（Fine-tune）。预训练：简单来说就是通过两个任务联合训练得到bert模型。

迷茫，我太迷茫了！·2022-11-23 02:15

语音识别预训练wav2vec 2.0

wav2vec2.0采用了预训练、fine-tune思路。如上图所示，将语音x通过一个多层卷积神经网络进行encode成z，然后对z进行mask，如

zephyr_wang·2022-11-21 18:21

Pytorch-4.1 Fine tuning 模型微调

我们先找到一个同类的别人训练好的模型，把别人现成的训练好了的模型拿过来，换成自己的数据，调整一下参数，再训练一遍，这就是微调（fine-tune）。

pengege666·2022-11-21 12:25

pytorch如何精确冻结某一层的参数？

假若我们不想fine-tune这个ber

#苦行僧·2022-11-21 08:39

OCR/STR生僻字数据训练 | PaddleOCR的Fine-tune常见问题汇总（3）

1、印章如何识别？使用带tps的识别网络或abcnet,2.使用极坐标变换将图片拉平之后使用crnn2、多语言的字典里是混合了不同的语种，这个是有什么讲究吗？统一到一个字典里会对精度造成多大的损失？统一到一个字典里，会造成最后一层FC过大，增加模型大小。如果有特殊需求的话，可以把需要的几种语言合并字典训练模型，合并字典之后如果引入过多的形近字，可能会造成精度损失，字符平衡的问题可能也需要考虑一下。

訢詡·2022-11-19 05:52

【目标检测】为什么SPP-Net无法fine-tune卷积层？

一、问题的提出fastrcnn中提到SPP-Net无法fine-tunespppooling层之前那些卷积层，原文如下所示：二、问题的解答严格说，SPP-Net也可以反向传播，但是会复杂很多，所以用connotupdatetheconvolutionallayers其实是不算太准确的说法。何凯明大神原文如下：没有指出不能微调卷积层，只是说只微调了全连接层。Ross大神在FastR-CNN中给出的解

旅途中的宽~·2022-11-19 03:08

FINE-TUNING DISTORTS PRETRAINED FEATURES AND UNDERPERFORMS OUT-OF-DISTRIBUTION

将预先训练的模型转移到下游任务时，有两种常用的方法是微调(更新所有模型参数)和线性探测(更新最后一个线性层)(tuningtheheadbutfreezinglowerlayers)fine-tune的好处

Tsukinousag1·2022-11-01 03:40

TensorFlow（十七）训练自己的图像识别模型（基于VGG16）

下面将会使用VGG16为基础，来微调（Fine-tune）模型达到训练我们自己的数据的目的。这里将会分类一些地表的卫星图片来区分森林、水域、岩石、农田、冰川和城市区域。

viafcccy·2022-10-30 14:21

李宏毅机器学习--self-supervised：BERT、GPT、Auto-encoder

目录Self-SupervisedLearningBERTBERT训练maskinginput（随机遮盖一些输入单位）nextsentenceprediction（预测前后两个句子是否相接）BERT的fine-tune

iwill323·2022-10-28 20:28

百度艾尼（ERNIE）常见问题汇总及解答

A1：（1）基于ERNIE模型Fine-tune后，直接能做的任务如下：•词性标注任务，

百度-NLP·2022-10-26 09:59

知识蒸馏相关技术【模型蒸馏、数据蒸馏】以ERNIE-Tiny为例

直接使用ERNIE-Tiny系列轻量模型fine-tune，效果可能不够理想。如果采用数据蒸馏策略，又需要提供海量未标注数据，可能并不具备客观条件。

汀、·2022-10-26 09:58

2022李宏毅机器学习深度学习学习笔记第五周--BERT

文章目录前言一、pre-train模型二、Howtofine-tune总结前言介绍什么是pre-train模型，有了模型后怎么做fine-tune以及pre-train模型怎么被训练出来。

hehehe2022·2022-10-24 18:36

EasyNLP发布融合语言学和事实知识的中文预训练模型CKBERT

我们发现，知识注入的过程都伴随着很大规模的知识参数，下游任务fine-tune的时候仍然需要外部数据的支撑才能达到比较好的效果，从而无法

·2022-10-19 11:03

李宏毅机器学习（八）自编码器（Auto-encoder）

这个时候我们只需要对在自监督中训练的模型进行fine-tune就可以用在下游任务中了！

追赶早晨·2022-10-10 10:58

【论文翻译】Rethinking Network Pruning—under the Pre-train and Fine-tune Paradigm

RethinkingNetworkPruning—underthePre-trainandFine-tuneParadigm预训练与微调范式下网络修剪的再思考论文链接代码链接摘要基于transformer的预训练语言模型显著地提高了各种NLP任务的性能。虽然这些方法是有效的，但通常对于资源有限的部署场景来说模型太大了。研究的思路开始致力于在预训练再微调的范式下应用网络修剪技术。然而,在BERT等t

清风2022·2022-10-10 07:01

Bert在fine-tune训练时的技巧：①冻结部分层参数、②weight-decay (L2正则化)、③warmup_proportion、④

作为一个NLPer，bert应该是会经常用到的一个模型了。但bert可调参数很多，一些技巧也很多，比如加上weight-decay,layer初始化、冻结参数、只优化部分层参数等等，方法太多了，每次都会纠结该怎么样去finetune，才能让bert训练的又快又好呢，有没有可能形成一个又快又好又准的大体方向的准则呢。于是，就基于这个研究、实践了一番，总结了这篇文章。1.使用误差修正，训练收敛变快，效

u013250861·2022-10-07 12:51

Bert系列源码解读四篇章

Bert系列（一）——demo运行Bert系列（二）——模型主体源码解读Bert系列（三）——源码解读之Pre-trainBert系列（四）——源码解读之Fine-tune转载自：https://www.jianshu.com

weixin_30883777·2022-09-02 10:06

BERT模型的深度解读

一、BERT整体概要Bert由两部分组成：预训练（Pre-training）:通过两个联合训练任务得到Bert模型微调（Fine-tune）：在预训练得到bert模型的基础上进行各种各样的NLP二、预训练输入经过

世界划水锦标赛冠军·2022-09-02 10:36

详述BERT fine-tune 中文分类实战及预测

这几天在研究bertfine-tune相关的知识，现在基本熟悉了，也踩了一些坑，记录一下，一是总结，二是备忘。bert的finetune主要存在两类应用场景：分类和阅读理解。因分类较为容易获得样本，以下以分类为例，做模型微调：环境：python3.6tensorflow:1.12（必须>=1.11）完成中文分类需要有一、bert官方开源的代码，二、bert开源的预训练的中文模型chinese_L-

子春-寒·2022-06-26 07:20

小样本如何更好的在BERT上fine-tune

fine-tuneRevisitingFew-sampleBERTFine-tuning阅读笔记，论文地址：https://arxiv.org/abs/2006.059871摘要这篇论文主要探讨了如何更有效地使用BERT在小样本数据集上进行fine-tune

带着小板凳学习·2022-06-26 07:23

《错误手记-01》 facenet使用预训练模型fine-tune重新训练自己数据集报错

环境信息：windows10+python3.5+tensorflow1.6.0问题描述：在自己的训练集上跑train_softmax.py.参数：--logs_base_dirF:/work/runspace/log/--models_base_dirF:/dataset/facenet/model/my/--data_dirF:/dataset/vggface2_test/my_vgg_mtc

hymanSlime·2022-06-26 07:22

Keras学习之：全网最详细，一文包你会！使用 Keras 自带的模型实现迁移学习

Inceptionv3实现步骤导入模块加载数据集调整数据集中图片的尺寸数据增强/使用简单的原始数据加载Keras中的Inceptionv3模型模型删改知识迁移第一种手段：TransferLearning第三种手段：Fine-tune

暖仔会飞·2022-06-20 07:00

深度学习调参技巧及各种机器学习知识

详细介绍了几大优化器算法及其特点）见之底部：面向小数据集构建图像分类模型-Keras中文文档通过下面的方法你可以达到95%以上的正确率：更加强烈的数据提升更加强烈的dropout使用L1和L2正则项（也称为权重衰减）fine-tune

UryWu·2022-05-08 07:47

深度学习基础（七）Self-Taught Learning to Deep Networks 分类...

微调（fine-tune）指的的是通过输入有标记的再通过牛顿下降法来调整参数从而减小训练误差什么时候可以使用微调呢？当然是有大量的有标记样本啦。

dengxundong1074·2022-04-28 07:14

Pytorch(colab端)——基于VGG模型迁移学习的猫狗大战

因为原网络的分类结果是1000类，所以这里进行迁移学习，对原网络进行fine-tune（即固定前面若干层，作为特征提取器，只重新训练最后两层）。

✎﹏ℳ๓₯㎕/heart·2022-04-11 09:58

Raki的读paper小记：How to Fine-Tune BERT for Text Classification?

咕咕咕我疯狂的咕咕咕，最近狠狠摆烂了几天，决定写一下blog！摘要与总结在本篇paper中，作者做了详尽的实验来研究文本分类中不同Bert的微调方法，并提供了一个通用的解决方案最终通过实验发现：Bert的最顶层对于文本分类更加有效在适用层级别的学习率衰减的情况下，Bert可以很好的克服遗忘的问题Within-task和in-domain的预训练可以显著提高表现一个事先的多任务fine-tuning

爱睡觉的Raki·2022-03-14 07:40

tensorboard ckpt pb 模型的输出节点_Tensorflow笔记：模型保存、加载和Fine-tune

前言尝试过迁移学习的同学们都知道，Tensorflow的模型保存加载有不同格式，使用方法也不一样，新手会觉得乱七八糟，所以本文做一个梳理。从模型的保存到加载，再到使用，力求理清这个流程。1.保存Tensorflow的保存分为三种：1.checkpoint模式；2.pb模式；3.saved_model模式。1.1先假设有这么个模型首先假定我们已经有了这样一个简单的线性回归网络结构：import我们来

weixin_39578516·2022-02-17 07:47

pytorch学习18：模型微调Fine tuning和固定层向量导出hook

为了解决这个问题，我们可以找一个别人已经训练好的现成模型，换成自己的数据，调整一下参数，再训练一遍，这个操作就是微调（fine-tune）为什么要微调对于数据集很小的情况，从头开始训练具有千万参数的大型神经网络是是不现实的

HMTT·2021-09-29 10:47

ACL 2021｜美团提出基于对比学习的文本表示模型，效果相比BERT-flow提升8%

为解决BERT原生句子表示这种“坍缩”现象，美团NLP中心知识图谱团队提出了基于对比学习的句子表示迁移方法——ConSERT，通过在目标领域的无监督语料上Fine-tune，使模型生成的句子表示与下游任务的数据分布更加适配

美团技术团队·2021-06-04 15:56

ACL 2021｜美团提出基于对比学习的文本表示模型，效果提升8%

为解决BERT原生句子表示这种“坍缩”现象，美团NLP中心知识图谱团队提出了基于对比学习的句子表示迁移方法——ConSERT，通过在目标领域的无监督语料上Fine-tune，使模型生成的句子表示与下游任

美团技术团队·2021-06-03 20:07

pytorch fine-tune 预训练的模型操作

之一:torchvision中包含了很多预训练好的模型，这样就使得fine-tune非常容易。本文主要介绍如何fine-tunetorchvision中预训练好的模型。

·2021-06-03 10:20

基于Python的图像分类-Finetune训练模型

——注意：前面的一到八，八个步骤使用自己的中草药数据集，介绍如何使用PaddleHub进行Fine-tune迁移训练图像分类。

神迹小卒·2021-05-26 21:57

深度学习移动端在线训练 --- 基于MNN的端侧Finetune实现

fine-tune在端侧应用难道不是刚需？端侧推理的实现相对简单，MNN官方已有完善的文档参考。

Ctrlturtle·2021-04-15 17:36

Pytorch学习笔记

TransferLearning(迁移学习)和Fine-tune的区别3几个超参数总结4判断模型达到瓶颈5Adam优化器的使用6模型评估1Autograd过程解析z是一个Tensor变量，当我们执行z.backward

StriveQueen·2021-01-22 14:26

tensorflow模型保存后继续训练_Tensorflow笔记：模型保存、加载和Fine-tune

前言尝试过迁移学习的同学们都知道，Tensorflow的模型保存加载有不同格式，使用方法也不一样，新手会觉得乱七八糟，所以本文做一个梳理。从模型的保存到加载，再到使用，力求理清这个流程。1.保存Tensorflow的保存分为三种：1.checkpoint模式；2.pb模式；3.saved_model模式。1.1先假设有这么个模型首先假定我们已经有了这样一个简单的线性回归网络结构：importten

湘轩沪栈·2021-01-07 06:13

BERT模型的结构，特点和实践

BERT框架2.BERT模型结构2.1输入部分2.2BERT的预训练任务任务1：MaskedLanguageModel(MLM)任务2：NextSentencePrediction(NSP)3.训练：fine-tune

dream6104·2020-12-27 20:02

PaddleNLP学习笔记

PaddleHub的安装CUDA安装PaddlePaddle安装PaddleHub安装THUNEW分类实战NLP预训练模型加载数据集构建reader选择优化迁移策略运行时的配置设置构建网络并创建分类迁移任务进行Fine-tune

月语星愿·2020-09-16 13:48

李宏毅《Machine Learning》笔记 -- transfer learning

应用场景DatanotdirectlyrelatedtothetaskconsideredConservativeTrainingorlayerTransfer保守训练，或者fine-tune的时候只调某个

hhhhh0hhhhhh·2020-09-16 01:04

BERT fine-tune，loss不下降，训不动，固定分类到一类

语料应该没问题，不restore任何东西的话，都有效果。模型换成google官方bert，分类器代码不变，没问题。解决方案把bert_output=bert_model.get_pooled_output()改为bert_output=tf.reduce_mean(bert_model.get_sequence_output()[:,1:,:],1)

guotong1988·2020-09-15 22:37

一枚小码农·2020-09-14 01:37

pytorch学习笔记（十一）：fine-tune 预训练的模型

torchvision中包含了很多预训练好的模型，这样就使得fine-tune非常容易。本文主要介绍如何fine-tunetorchvision中预训练好的模型。

ke1th·2020-08-26 14:30

【DeepCV】分类问题--类别样本不平衡

按样本数量分为大样本和小样本，先fine-tune大样本，再fine-fine-tune小样本。

北境の守卫·2020-08-26 12:05

PyTorch之一Fine-tuning / hook

没关系，我们先找到一个同类的别人训练好的模型，把别人现成的训练好了的模型拿过来，换成自己的数据，调整一下参数，在训练一遍，（此后的训练需要冻结之前网络层的参数，训练之后添加的网络层参数）这就是微调（fine-tune

SongpingWang·2020-08-24 11:51

使用padlle hub进行BERT Fine-Tune 中文-文本分类/蕴含下游任务

使用padllehub进行BERTFine-Tune中文-文本分类/蕴含下游任务写在前面1.相关技术PaddleHub:预训练模型：Bert_chinese_L-12_H-768_A-12Bert下游任务2.使用步骤-以文本蕴含为例环境准备数据处理数据集解压数据集数据集展示处理数据集自定义Hub数据集PaddleHub分类数据集读取器读取预训练模型Bert定义策略运行配置组建FinetuneTas

5jerry·2020-08-24 02:50

BERT fine-tune之后 predict或eval时模型没有加载没有效果

train时do_train置True仔细阅读run_classifier.py源码，可能是训练阶段没有成功加载预训练好的模型文件，--init_checkpoint起到关键作用然后跑时打印模型所有tensor时候出现*INIT_FROM_CKPT*字样，predict或eval时do_train置Falserun_config=tf.contrib.tpu.RunConfig(cluster=t

guotong1988·2020-08-24 00:35

【论文解析】如何将Bert更好地用于文本分类（How to Fine-Tune BERT for Text Classification?）

基于Bert模型，在6份英文语料和1份中文预料上（包括情感分析、问题分类和主题分类），进行了翔实的文本分类效果对比实验结果，虽然fine-tune的最终效果取决于具体的task，但文中采用的思路和策略仍值得学习和尝试

guofei_fly·2020-08-24 00:35

albert-chinese-ner使用预训练语言模型ALBERT做中文NER

机器学习AI算法工程公众号：datayx这次的albert某种程度上可能比bert本身更具有意义，恰逢中文预训练模型出来，还是按照之前的数据来做NER方面的fine-tune项目相关代码获取：关注微信公众号

demm868·2020-08-24 00:15

【非权重压缩】DEEPREBIRTH论文解读

非权重压缩摘要：将网络分为张量层(conv，FC)和非张量层（LRN，pool，dropout，activity等），并对模型进行非张量层的修改，并对修改后的网络进行fine-tune。

qq_23546067·2020-08-23 22:18

SBERT论文详解

我们使用孪生网络对BERT做fine-tune使得句向量可以用于cos相似度计算，减少开销，保持准确。评估后效果比SOTA较好。

ws_nlp_·2020-08-23 06:46

干货 | BERT fine-tune 终极实践教程

从11月初开始，google-research就陆续开源了BERT的各个版本。google此次开源的BERT是通过tensorflow高级API——tf.estimator进行封装(wrapper)的。因此对于不同数据集的适配，只需要修改代码中的processor部分，就能进行代码的训练、交叉验证和测试。以下是奇点机智技术团队对BERT在中文数据集上的finetune终极实践教程。在自己的数据集上

weixin_34414196·2020-08-22 14:29

推荐频道

Fine-tune