Fine-tune 第3页

LayoutLMv2: Multi-modal Pre-training for Visually-rich Document Understanding

不同于普通的LayoutLM模型，在fine-tune阶段结合视觉嵌入，LayoutLMv2在pre-train阶段集成视觉信息。

Tsukinousag1·2023-01-11 02:01

Bert实战之文本分类（附代码）

Bert实战之文本分类1、概要2、Bert怎么用2.1fine-tune（微调）2.2featureextract（特征抽取）3、coding3.1基于fine-tune的文本分类3.2基于featureextract

明子哥哥·2023-01-09 09:04

元学习论文解读 | Repurposing pretrained models for robust out-of-domain few-shot learning, ICLR2022

然而在实践中，在元训练集上进行re-train或fine-tune可能是行不通的，并且测试任务可能来自不同的分布（cross-domain），所以元测试的优化步长不一定要和元训练一致。

RitaRao·2023-01-08 10:37

NLP-预训练语言模型

文章目录发展历程迁移学习预训练、精调范式（Pre-train,Fine-tune)发展历程神经语言模型→浅层次词向量→深层次词向量→预训练语言模型神经语言模型\to浅层次词向量\to深层次词向量\to预训练语言模型神经语言模型

◝(⑅•ᴗ•⑅)◜..°♡·2023-01-08 09:20

文本表达进击：从BERT-flow到BERT-whitening、SimCSE

很多NLP任务都会直接在BERT的基础上做一个fine-tune，构建一个baseline模型，既快捷也使用，但BERT在做文本表达任务时也有一些明显的缺点。

PaperWeekly·2023-01-05 10:13

(学习周记1)论文eXtreme Multi-label Text Classification和Fine-tune BERT for Text Classification

一、X-BERT：eXtremeMulti-labelTextClassificationusingBERT本篇论文数据、代码和预训练模型获取地址:[https://github.com/OctoberChang/X-BERT]AbstractExtrememulti-labeltextclassification(XMC)超级多标签的文本分类问题，简称XMC，是从一个超级大的标签集中选取与文本最

烈士和小丑·2023-01-04 15:36

Pytorch—模型微调（fine-tune）

随着深度学习的发展，在大模型的训练上都是在一些较大数据集上进行训练的，比如Imagenet-1k，Imagenet-11k,甚至是ImageNet-21k等。但我们在实际应用中，我们自己的数据集可能比较小，只有几千张照片，这时从头训练具有几千万参数的大型神经网络是不现实的，因为越大的模型对数据量的要求越高，过拟合无法避免。因为适用于ImageNet数据集的复杂模型，在一些小的数据集上可能会过拟合，

ytusdc·2023-01-03 09:27

对Fast R-CNN指出Spp-net不能fine tune的一些理解

hututufandou·2023-01-01 12:25

Fine-tune BERT for Extractive Summarization代码复现数据处理篇

疫情期间在家学习，期间学习到Fine-tuneBERTforExtractiveSummarization。将bert模型运用于抽取式文本摘要中，第一部分是数据处理篇。代码复现需要的文件包，原论文都会提供的有，其GitHub链接数据集因为谷歌云盘下载起来比较麻烦，像bert_data、cnn/dailymail数据集在下方可寻。一、环境要求pytorch=1.4.0,python=3.6另外需要安

左手指月·2022-12-30 21:03

transformers库中使用DataParallel保存模型参数时遇到的问题记录

pytorch中使用DataParallel保存模型参数时遇到的问题记录之前使用Transformers库中的Bert模型在自己的文本分类任务上使用Transformers库里的Trainer方式进行了Fine-tune

11好好学习，天天向上·2022-12-30 09:57

自定义神经网络入门-----Pytorch

APnn.Module类全连接层感知机类使用nn.Sequential进行构造使用randn函数进行简单测试损失函数nn.functionalnn.optim模型处理网络模型库torchvision.models模型Fine-tune

Miracle Fan·2022-12-30 08:39

TensorFlow训练分类模型及Finetune实操

这篇文章关注的重点是如何使用TensorFlow在自己的图像数据上训练深度学习模型，主要涉及的方法是对已经预训练好的ImageNet模型进行微调(Fine-tune）。

Mirinda_cjy·2022-12-28 07:42

基于全卷积孪生网络的目标跟踪算法SiamFC

在这之前的一些深度学习算法中都需要在新视频上进行微调（即onlinetraining），以学习到新视频中目标的特征，但是fine-tune会花费很多时间，无法做到real-time。

汐梦聆海·2022-12-27 02:57

了解CV和RoboMaster视觉组（五）目标跟踪：基于深度学习的方法

[email protected]文章目录5.4.4.NN-Based5.4.4.1.特征提取模块5.4.4.2.候选区域生成5.4.4.3.分类器/回归器(fine-tune)5.4.4.4.端到端方法

HNU跃鹿战队·2022-12-27 02:26

NLP-D8-李宏毅机器学习---预训练模型问题&adaptation&explainable AI&RL&learningmap

一共讲了两个问题，以及相应解决方法：1、数据量小，模型难以fine-tune的问题2、参数量过大问题其中我产生了两个问题：1、promt-tuning和fine-tuning有什么不同？

甄小胖·2022-12-25 21:31

Tensorflow模型保存、加载和fine-tune

一、保存Tensorflow模型：1.保存文件说明Tensorflow模型主要包含网络的设计（图）和训练好的各参数的值等。所以，Tensorflow模型有两个主要的文件：1)graph.pbtxt:这其实是一个文本文件，保存了模型的结构信息2)checkpoint文件:其实就是一个txt文件，存储的是路径信息3).ckpt-*.meta:其实和上面的graph.pbtxt作用一样都保存了graph

Tina Tang·2022-12-24 19:52

bert做文本摘要_Fine-tune BERT for Summarization: BERT和文本摘要

BERT论文系列导读导读文本摘要主要分为抽取式文本摘要和生成式文本摘要，抽取式文本摘要因为发展的时间比较长，因此在工业界应用的范围比较广。比较常用的抽取式文本摘要的算法就是Textrank，但是呢，本文要介绍一篇和BERT相关的抽取式摘要的模型。当然作为对比，本文也介绍了另一篇文章，结合了Textrank和BERT的模型，希望对大家有所启发。BertWithSummarization首先介绍一下模

pukkuksong·2022-12-24 14:26

【NLP】如何在文本分类任务中Fine-Tune BERT

问题BERT在许多自然语言理解（NLU）任务中取得了惊人的成果，但它的潜力还有待充分挖掘。目前很少有如何能进一步提高BERT性能的研究，因此，如何通过一些技巧和方法最大限度的提升BERT在文本分类任务中的性能是此次研究的重点。目标在使用BERT做textclassification的时候，我们利用[CLS]的hiddenstate输出做为整个输入文本的representation，通过一层task

风度78·2022-12-24 14:21

transformers BERT等模型在自己的数据集上fine-tune方法

这时候，将预训练语言模型在你自己的语料上再次fine-tune（MaskedLanguageModel等任务），能够进一步提升效果。本文将介绍fine-tune的基本方法。

扣德夫特·2022-12-24 14:20

bert从入门到实践笔记本

‘工作中不断更新ing…’-----------------过程中发现的一些好文章：----------------bert原理bert的fine-tune在notebook里运行一个.py文件的方法一

.小简.·2022-12-23 16:52

从零开始实现一个端到端的机器学习项目[6]

Hands-onMachineLearningwithScikit-Learn,Keras&TensorFlow》的笔记文章目录3选择和训练模型3.1训练和评估训练集3.2使用交叉验证来更好地进行评估3.3微调（fine-tune

不爱写程序的程序猿·2022-12-20 21:49

Pytorch实现Bert/RoBerta微调（以MELD数据集为例）

（4）如何保存fine-tune好的BERT/ROBERTA模型参数，以及如何在特征提取阶段使用这些参数？（5）逐层微调以MELD数据集为例的微调RoB

dognoline·2022-12-19 09:17

【论文精度】生成式预训练模型——BART（Bidirectional and Auto-Regressive Transformers）

BidirectionalandAuto-RegressiveTransformers）论文：BART引用：【知乎】生成式预训练之BART对于文本理解任务（NaturalLanguageUnderstanding），语言预训练模型+下游任务fine-tune

marasimc·2022-12-18 12:31

01 Datafountain_云状识别_top1

01Datafountain_云状识别_top1摘要1云状识别算法总体思路和架构2云状识别算法具体实现过程2.1图像增强：2.2多图像尺寸训练：2.3选用densenet161预训练模型进行fine-tune

CV_七少·2022-12-13 20:08

MAML (Model-Agnostic Meta-Learning) 解读

Meta-Learning：在大量的学习任务上训练模型，从而让模型仅用小数量的训练样本就可以学习新任务（加速fine-tune）。不同的任务有不同的模型。需要考虑将先前的经验与少量

千羽QY·2022-12-12 20:37

Incremental Learning of Object Detectors without Catastrophic Forgetting 论文阅读

本文概览CNN用于目标检测任务的缺陷——类别遗忘：假设CNN模型A为在一个物体检测训练集1上训练得到的性能较好的检测器，现在有另外一个训练集2，其中物体类别与1不同，使用训练集2在A的基础上进行fine-tune

aiqiu_gogogo·2022-12-12 16:15

基于PaddleOCR训练模型识别数字验证码

下载数字图形验证码6.标注数字图形验证码7.准备数据字典8.配置模型训练参数9.训练模型10.测试模型11.导出模型12.应用模型序言以软考成绩查询数字验证码为例，学习如何使用PaddleOCR库调优（fine-tune

eton_liu·2022-12-12 14:13

【迁移学习】

总览图4月21日，迁移学习，2017年很火，以为会研究的越来越多，实则现在初了Fine-tune在用的话，其余貌似不在工业界被使用（只是感觉，没有出处，大家自我辨识）主要是想知道一般迁移学习有哪些方式和应用

快乐成长吧·2022-12-12 11:51

【Transformers】BertModel模块的输入与输出

背景通常我们使用bert进行模型fine-tune时，大多是使用Transformer这个包，官方地址：https://huggingface.co/.如果想使用Bert获取任务对应的动态词向量，那么这时我们就需要了解

科皮子菊·2022-12-10 20:51

chatGPT笔记

followtheuser’sinstructionshelpfullyandsafelyinstructGPT跟GPT-3的网络结构是一样的，区别在于训练阶段的不同，instructGPT使用了标注数据进行fine-tune

zh515858237·2022-12-09 10:21

[NLP] 资源整理 -- Bert预训练fine-tune(微调)入门

博客1.一篇中文个人博客，结合了kaggle比赛的一个新闻分类任务，示例的代码可以直接运行，推荐。进击的Bert2.一篇博客园的博客BERT预训练模型及文本分类3.一篇英文博客BERTWordEmbeddingsTutorial官方资源1.transformers预训练模型2.huggingface-transformers3.huggingface-pretrainedmodels4.huggi

YangZ_L·2022-12-04 07:00

知识图谱：【知识图谱问答KBQA（三）】——Prompt Learning

3.Pre-train,Fine-tune先在大数据集上预训练，再根据特

J_Xiong0117·2022-12-03 09:23

【目标检测】SSD: Single Shot MultiBox Detector 模型fine-tune和网络架构

而方法2，说的是fine-tune已经训练好的SSDmodel，最近没来得及进行调参，初次实验效果有限，先把过程和原理记录下来，免得忘了，然后还会说下SSD的网络架

苍穹sky·2022-12-03 08:02

MXNet通过fine-tune VGG网络对Cifar-10分类

MxNet中通过mx.gluon.model_zoo.vision下载的pre-trained模型是在imagenet1k上训练的，本文就使用下载的预训练模型通过fine-tune对Cifar-10进行分类

傻神妮妮·2022-12-02 20:55

视觉Transformer中的位置编码方式

这种方式的不足是序列化长度固定了，在遇到较大分辨率图像时可以对学习好的positionalembedding进行插值然后对模型进行fine-tune。

阳光素描·2022-12-02 18:11

bert 自己语料预训练pre-train、微调fine-tune；tensorflow/pytorch矩阵点乘、叉乘区别

1、bert预训练模型加自己语料再训练pre-train参考：https://github.com/zhusleep/pytorch_chinese_lm_pretrainhttps://github.com/bojone/bert4keras/tree/master/pretraininghttps://github.com/xv44586/toolkit4nlp/tree/master/pre

loong_XL·2022-12-02 16:08

EasyNLP发布融合语言学和事实知识的中文预训练模型CKBERT

我们发现，知识注入的过程都伴随着很大规模的知识参数，下游任务fine-tune的时候仍然需要外部数据的支撑才能达到比较好的效果，从而无法在云环境中很好的提供给用户进

阿里云大数据AI技术·2022-11-30 13:05

Prefix-Tuning: Optimizing Continuous Prompts for Generation

1.本文提出了Prefix-Tuning，一种轻量级的自然语言生成任务的fine-tune替代方案，使语言模型参数保持冻结状态，但是优化了一个小的连续的特定于任务的向量（这个向量称之为前缀）。

一直在路上的程序猿·2022-11-30 08:16

yolov5剪枝实战5:模型剪枝和fine-tune

文章目录1.网络剪枝2.剪枝后的模型微调2.1finetune训练2.2测试2.3性能测试1.网络剪枝执行命令:pythonprune.py--percent0.5--weightsruns/train/yolov5s-sparse/weights/last.pt--da

@BangBang·2022-11-28 23:53

Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks（MAML）研读笔记

这里是引用MAML全文目录论文地址摘要介绍相关概念model-agnosticN-wayK-shotTask5-way5-shot的实验设置算法流程fine-tune算法流程参考文献论文地址https:

joejoeqian·2022-11-25 16:34

Chapter7-2_BERT and its family - Introduction and Fine-tune

文章目录1Whatispre-trainmodel2Howtofine-tune2.1Input2.2Output2.3Fine-tune2.4WeightedFeatures3Whyfine-tune本文为李弘毅老师【BERTanditsfamily-IntroductionandFine-tune】的课程笔记，课程视频youtube地址，点这里(需)。下文中用到的图片均来自于李宏毅老师的PPT

zjuPeco·2022-11-25 15:50

李宏毅机器学习（七）Bert and its family

技术前瞻在预训练模型上训练Bert，并在我们的数据上fine-tune所需要的模型！就像学习英文一样！应该是通读英文文章后再去做题，而不是先做题再读懂文章！

追赶早晨·2022-11-25 15:11

李宏毅DLHLP.17.BERT and its family.1/2.Introduction and Fine-tune

文章目录介绍Whatispre-trainmodel缘起ContextualizedWordEmbedding趋势参数NetworkArchitectureHowtofine-tuneNLPtasks回顾输入输出Howtofine-tuneAdaptorWeightedFeaturesWhyPre-trainModels?介绍本门课程是2020年李宏毅老师新课：DeepLearningforHum

oldmao_2000·2022-11-25 15:40

论文导读 | 使用预训练语言模型作为知识库的可能性

借助大规模数据集、以Transformer为代表的深度神经网络模型、以及设计好的自监督预训练（pre-train）任务，预训练语言模型展现出了强大的泛化能力，经过微调（fine-tune）后在各个下游任务中得到了优秀的成果

PKUMOD·2022-11-24 15:29

EasyNLP 发布融合语言学和事实知识的中文预训练模型 CKBERT