Fine-Tuning

Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning

背景：基于大规模的语言模型。在pretrain-fineTuning两阶段的范式下，pretrain阶段，数据量较大，学习到的知识泛化能力较强。finetuning阶段的数据往往是少量的。以前的工作，通常倾向aggressive。理解为，完全信任新数据，由小数据量的任务完全决定模型参数的更新。在这个过程中，很可能导致了过拟合，而使得效果下降或泛化能力的降低。方法：为了延续模型的泛化能力，可通过只更
吹洞箫饮酒杏花下·2023-02-04 08:02

【科研】ET-BERT资料库梳理

作者原repo链接https://github.com/linwhitehat/ET-BERT0.资料总库分为数据+模型+语料库1.数据集包含fine-tuning数据集（cstnet-tls1.3）与公开数据集
勇往直前的力量·2023-01-31 10:54

Improving Language Understanding by Generative Pre-Training

本文展示了先在大规模未标注语料上预训练生成式语言模型然后在每个判别式任务上进行fine-tuning可以获得较大的效果提升。
chansonzhang·2023-01-30 20:46

Audio-预训练模型-2020：Wav2vec 2.0

contrastivetask将真正的量化的latent变量表示与其他负例分辨出来（同时训练了量化过程的latentrepresentation),由此得到的representation，基于少量的有标签数据fine-tuning
u013250861·2023-01-26 17:52

Prompt tuning新工作，五个参数解决下游任务 fine-tuning

文|小伟编|小轶前言自从Google石破天惊地发布Bert以来，NLP就进入了预训练语言模型的时代。众所周知，我们可以用预训练语言模型来学习各种各样的任务，即使它们的特征空间有比较大的差异。那么预训练语言模型为什么会有这种泛化能力呢？或者说预训练阶段学习到的通用表示为什么可以很容易地适应广泛的下游NLP任务呢？今天介绍的这篇文章从近来大火的prompttuning的角度出发,对这个问题进行了初步的
夕小瑶·2023-01-26 11:55

预训练语言模型fine-tuning近期进展概述

近年来，迁移学习改变了自然语言处理领域的范式，对预训练语言模型（PLM）进行微调（fine-tuning）已经成为了新的范式。本文主要梳理了近期的预训练语言模型做fine-tuning的进展。
zenRRan·2023-01-26 11:54

2021 ACL Parameter-efficient Multi-task Fine-tuning for Transformers via Shared Hypernetworks

Parameter-efficientMulti-taskFine-tuningforTransformersviaSharedHypernetworks阅读这篇文章的目的是为了了解hypernet，相关代码https://github.com/rabeehk/hyperformerparameter-efficientfine-tuning的方法依赖于引入一个adaptermodule。这篇文章
文三路张同学·2023-01-26 08:56

bert关键词提取_ir+bert: sigir19短文一篇

https://arxiv.org/pdf/1905.09217.pdfarxiv.org针对的问题bert的强文本理解能力能否应用到ir领域，能否带来ir领域性能的提升结论使用ir领域数据对bert进行fine-tuning
PS自学部落·2023-01-21 22:35

BERT源码分析（PART II）

写在前面BERT的使用可以分为两个步骤：「pre-training」和「fine-tuning」。
风度78·2023-01-21 10:58

BERT模型fine-tuning

Preface：fine-tuning到底是什么？在预训练模型层上添加新的网络层，然后预训练层和新网络层联合训练。
anshiquanshu·2023-01-19 10:47

论文笔记：Enhancing Pre-trained Chinese Character Representation with Word-aligned Attention

预训练模型种类繁多，如下图用的最多的莫过于大名鼎鼎的BERT预训练模型，同样是基于Pre-training和Fine-tuning模式架构的不管啥模型，第一件事都是tokenizer。
爱吃腰果的李小明·2023-01-17 11:13

BERT 词向量理解及训练更新

1、BERT词向量理解在预训练阶段中，词向量是在不断更新的，而在fine-tuning阶段中，词向量是固定不变的。在fine-tuning阶段中，我们使用预训练好的模型参数来对新的数据进行训练。
loong_XL·2023-01-16 06:07

Prompt-Learning

Prompting使得预训练模型和下游任务之间更加接近，这一点儿与fine-tuning不同，fine-tuning是使用预训练模型做下游任务，promptlearning是各种下游任务适应预训练模型，
xuanningmeng·2023-01-13 21:55

NLP新范式 prompt【0】

NLP新范式prompt【0】与使用具体的分类器的传统Fine-tuning不同，基于prompt的fine-tune直接使用预训练的模型来执行分类或回归的预训练任务。
Pin_BOY·2023-01-13 01:48

curriculum learning

2019/11/21/5dd617335da12/https://blog.csdn.net/qq_25011449/article/details/82914803关于transferLearning和fine-tuning
rockray21·2023-01-12 07:46

屏蔽预训练模型的权重。 只训练最后一层的全连接的权重。_BERT模型

BERT模型是一个两阶段模型，1.语言模型预训练（一般NLP中的预训练都是采用语言模型的任务来做）2.使用Fine-tuning模式解决下游任务。
weixin_39621819·2023-01-11 00:32

模型微调，低预算，高期望！

作为迁移学习中的常用技术，Fine-tuning（微调）已经成为了深度学习革命的重要部分。微调不需要针对新任务从头开始学习，只需要加载预训练模型的参数，然后利用新任务的数据进行一步训练模型即可。
·2023-01-10 19:07

初学谷歌bert模型的预训练和fine-tuning微调

从开始学bert到现在用自己数据跑通bert预训练和微调，已经过去半个多月近三周了，查了很多资料和博客，记录一下自己的历程，也帮助其他入门者更好的了解bert模型。0.本文概览已经来看这篇博客了，bert是什么应该不用多说啦。后面主要叙述我用自己数据预训练和微调的过程。环境：pycharm——anaconda——tensorflow1.13.1-gpu——谷歌bert中文句子分类本文所用的环境快速
.小简.·2023-01-10 14:04

使用MindSpore训练及保存模型

ModelCheckpoint可以保存网络模型和参数，以便进行后续的Fine-tuning（微调）操作。
xiao | yang·2023-01-10 08:00

GPT Understands, Too论文笔记

摘要  GPT使用传统的fine-tuning无法在自然语言理解（NaturalLanguageUnderstanding,NLU）任务上取得良好的效果。
爱嘤嘤的小猪仔·2023-01-09 09:31

Gavin老师Transformer直播课感悟 - BERT多任务Fine-tuning案例实战

一、概述从任务的视角来看BERT的微调(Fine-tuning),通过下游监督式学习的任务（设定预定义的标签）来对BERT预训练之后的网络进行微调，这里需要重点关注的是"FurtherPre-training
m0_49380401·2023-01-07 09:12

模型微调，低预算，高期望！

作为迁移学习中的常用技术，Fine-tuning（微调）已经成为了深度学习革命的重要部分。微调不需要针对新任务从头开始学习，只需要加载预训练模型的参数，然后利用新任务的数据进行一步训练模型即可。
Jina AI·2023-01-06 14:34

【AI】PyTorch实战（三）：迁移学习

通常做法就是在大的数据集（比如ImageNet）上训练出一个CNN，然后提取最后一层卷积层或者倒数第二层全连接层的输出作为CNN特征，然后直接使用SVM、贝叶斯或softmax等分类器进行分类；1.2微调微调Fine-tuning
郭老二·2023-01-05 15:26

Pytorch 微调（Fine-tuning）

Pytorch微调（Fine-tuning）0.环境介绍环境使用Kaggle里免费建立的Notebook教程使用李沐老师的动手学深度学习网站和视频讲解小技巧：当遇到函数看不懂的时候可以按Shift+Tab
哇咔咔负负得正·2023-01-05 15:55

迁移学习resnet_AI实战：迁移学习之使用ResNet做分类

迁移学习包括：1、FeatureExtraction2、Fine-Tuning本文基于tensorflow2.0，使用cats_vs_dog数据集，应用tf.keras.applications创建basemodel
孙晓岸·2023-01-05 14:13

Hugging Face主页课程第三篇《Fine-tuning a pretrained model》

微调预训练模型文章目录微调预训练模型1.本章简介2.处理数据从Hub上下载dataset数据集预处理Dynamicpadding动态填充技术3.使用TrainerAPI微调模型训练Evaluation4.编写训练循环（不使用Trainer）ThetrainingloopTheevaluationloop使用Accelerate增强训练循环5.Fine-tuning总结：本文翻译自HuggingFa
神洛华·2023-01-05 05:30

pytorch使用transformers库进行fine-tuning微调

说明依照官网的使用文档，pytorch下使用transformers进行fine-tuning。我基本全部都是按照文档来的。
eecspan·2023-01-05 05:30

微调(fine-tuning）代码实现

1.热狗识别让我们通过具体案例演示微调：热狗识别。我们将在一个小型数据集上微调ResNet模型。该模型已在ImageNet数据集上进行了预训练。这个小型数据集包含数千张包含热狗和不包含热狗的图像，我们将使用微调模型来识别图像中是否包含热狗。%matplotlibinlineimportosimporttorchimporttorchvisionfromtorchimportnnfromd2limp
chnyi6_ya·2023-01-04 16:14

【译】BERT Fine-Tuning 指南（with PyTorch）

ByChrisMcCormickandNickRyan原文链接：http://tinyurl.com/y74pvgyc介绍历史2018年是NLP突破的一年，迁移学习、特别是AllenAI的ELMO，OpenAI的Open-GPT，以及Google的BERT，这些模型让研究者们刷新了多项任务的基线（benchmark），并提供了容易被微调预训练模型（只需很少的数据量和计算量），使用它们，可产出当今最
程序员在深圳V·2023-01-04 16:43

【ACL2021】Target-Oriented Fine-tuning for Zero-Resource Named Entity Recognition

【ACL2021】Target-OrientedFine-tuningforZero-ResourceNamedEntityRecognition论文地址：https://arxiv.org/abs/2107.10523代码地址：https://github.com/Yarkona/TOFAbstratZero-source的命名实体识别（NER）受特定领域（domain）和特定语言（langua
陈振斌·2023-01-04 15:10

PyTorch环境下对BERT进行Fine-tuning

PyTorch环境下对BERT进行Fine-tuning本文根据ChrisMcCormick的BERT微调教程进行优化并使其适应于数据集QuoraQuestionPairs里的判断问题对是否一致的任务。
元宇宙iwemeta·2023-01-04 15:39

Fine-tuning a Pretrained Network for Style Recognition

官方网站：http://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/examples/02-fine-tuning.ipynbInthisexample,we'llexploreacommonapproachthatisparticularlyusefulinreal-worldapplications:takeapre-trainedCa
Cche1·2023-01-04 15:05

cPSO-CNN: An efficient PSO-based algorithm for fine-tuning hyper-parameters of convolutional neural

1.简介人工群体智能算法，如遗传算法[1]，粒子群优化[2]和烟花算法[3]，自问世以来，一直显示出其在现实世界中优化难题的强大能力。依靠从邻居和环境中收集引导信息并相应调整其行为的简单智能体群体，高智能体作为一个整体出现，其优点是不要求目标问题具有任何优化方便的数学属性，如连续性、可导性或凸性。因此，对于许多复杂的问题，通常是高度非线性和多模态的，系统集成算法通常比传统的数学规划方法性能更好。而
python_little_Boy·2023-01-04 15:05

keras系列︱迁移学习：利用InceptionV3进行fine-tuning及预测、完美案例（五）

之前在博客《keras系列︱图像多分类训练与利用bottleneckfeatures进行微调（三）》一直在倒腾VGG16的fine-tuning，然后因为其中的Flatten层一直没有真的实现最后一个模块的
AI视觉网奇·2023-01-04 15:33

Caffe官方教程翻译（7）：Fine-tuning for Style Recognition

前言最近打算重新跟着官方教程学习一下caffe，顺便也自己翻译了一下官方的文档。自己也做了一些标注，都用斜体标记出来了。中间可能额外还加了自己遇到的问题或是运行结果之类的。欢迎交流指正，拒绝喷子！官方教程的原文链接：http://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/examples/02-fine-tuning.ipynbFine-
hongbin_xu·2023-01-04 15:32

Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D Human Pose Estimation 2020阅读理

本文通过EFT方法生成伪3D数据集，只使用该数据集，从头开始训练3D姿势回归器网络，该网络在诸如3DPW等野外基准测试上的表现超过当前的最先进水平例如HMR。EFT方法可以看作SPIN的改良，即在测试阶段，通过2d重投影loss微调HMR的参数，从而间接调整SMPL系数，使得当前测试样本在尽可能保留HMR的输出效果的同时，降低2d重投影误差。显然SPIN则是通过SMPLify接在HMR后面，通过2
为什么先生2012·2023-01-04 15:32

微调(fine-tuning）

前面的一些章节介绍了如何在只有6万张图像的Fashion-MNIST训练数据集上训练模型。我们还描述了学术界当下使用最广泛的大规模图像数据集ImageNet，它有超过1000万的图像和1000类的物体。然而，我们平常接触到的数据集的规模通常在这两者之间。假如我们想识别图片中不同类型的椅子，然后向用户推荐购买链接。一种可能的方法是首先识别100把普通椅子，为每把椅子拍摄1000张不同角度的图像，然后
chnyi6_ya·2023-01-04 15:59

HuggingFace API学习（2）

HuggingFaceAPI学习Fine-Tuning处理数据在之前获取tokenizer和model的基础上，增加以下代码：batch=tokenizer(sequences,padding=True
小千不爱内卷·2023-01-04 11:48

GPT1、GPT2、GPT3原理

文章目录GPT-1：无监督学习GPT-1原理介绍预训练模型（无监督）fine-tuning（有监督）小结GPT-2：多任务学习GPT-2的改进模型参数为什么GPT-2能够适应多任务？
ywm_up·2023-01-02 10:35

GPT3中的Prompt

[SEP]传统的Fine-tuning方法是将其通过Bert的
m0_61688615·2023-01-02 10:34

[COLING 2022] DPTDR: Deep Prompt Tuning for Dense Passage Retrieval

Motivation在工业应用的多任务场景中，基于fine-tuning(FT)的方法在部署成本方面是不友好的。
默默无闻的[UNK]·2023-01-02 08:04

Albert_zh转化为pytorch版本

背景由于google提供bert_base_zh的参数太多，模型大太，大约400M，无论是使用bert进行fine-tuning或者是对bert进行再训练的训练成本会变大。
林子要加油·2023-01-01 12:04

Beyond 预训练语言模型，NLP还需要什么样的知识？

2018年底，预训练语言模型横空出世，极大缓解了这个问题，通过“超大规模无监督语料上的预训练语言模型+相对少量的监督样本进行任务精调（fine-tuning）”，可以大幅提升各类NLP任务的效果。
飞桨PaddlePaddle·2022-12-31 20:13

GPT(Improving Language Understandingby Generative Pre-Training) 论文笔记

目录1.论文简介2.GPT与ELMO区别与联系.3.贡献或主要改进3.1.Transformer的半监督学习whyhow3.2.基于不同任务在fine-tuning阶段对GPT输入数据改造。
茫茫人海一粒沙·2022-12-28 14:16

一、迁移学习与fine-tuning有什么区别？

一、迁移学习举个例子，假设boss让你做一下目标检测，这个数据集是关于光纤箱喷码字符检测的。问题是，数据集很少（只有1000张数据），里面有多干扰的信息，你发现从零训练开始训练yolo的效果很差，很容易过拟合。怎么办呢，于是你想到了使用TransferLearning，用别人已经训练好的Imagenet的模型来做。二、迁移学习有哪些手法把Alexnet里卷积层最后一层输出的特征拿出来，然后直接用S
YAYA视觉·2022-12-26 09:26

NLP-D8-李宏毅机器学习---预训练模型问题&adaptation&explainable AI&RL&learningmap

一共讲了两个问题，以及相应解决方法：1、数据量小，模型难以fine-tune的问题2、参数量过大问题其中我产生了两个问题：1、promt-tuning和fine-tuning有什么不同？
甄小胖·2022-12-25 21:31

【Pytorch】BERT+LSTM+多头自注意力（文本分类）

通过对BERT、RoBERTa、GPT等预训练模型微调（fine-tuning）或者
NLP饶了我·2022-12-25 21:31

文献阅读——Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference

如果不懂的话，请参考知识蒸馏基本原理其实，这里的知识蒸馏主要是在预训练模型的Fine-tuning中应用的较多，首先是使用一个大于1的T来学习预训练模型得到的一个有关数据之间的软分布，同时加上自己的一定真是数据
奋斗的海绵·2022-12-25 14:27

Bert在文本分类任务重如何进行 fine-tuning

Bert在文本分类任务重如何进行fine-tuning1.前言2.关于Bert3.训练3.1Bert直接在特定任务上做训练3.2Bert在特定任务上进一步pre-train，再在有label数据上做训练。3.3Bert在进一步pre-train之后，在multi-taskfine-tuning，再在有label的数据上做训练。1.前言文本分类是个经典的NLP任务。随着预训练语言模型的大受欢迎，诸如
雪糕遇上夏天·2022-12-24 14:56

基于Huggingface使用BERT进行文本分类的fine-tuning

随着BERT大火之后，很多BERT的变种，这里借用Huggingface工具来简单实现一个文本分类，从而进一步通过Huggingface来认识BERT的工程上的实现方法。1、loaddata train_df=pd.read_csv('../data/train.tsv',delimiter='t',names=['text','label'])print(train_df.shape)train
mamba10·2022-12-24 14:22
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他