Fine-Tuning

openAI，fine-tuning的示例代码

我们将微调一个ada分类器来区分两个运动：棒球和曲棍球首先，你需要安装openai的Python包：pipinstallopenai先准备并处理数据fromsklearn.datasetsimportfetch_20newsgroupsimportpandasaspdimportopenaicategories=['rec.sport.baseball','rec.sport.hockey']sp
openwin_top·2023-03-30 21:19

chatgpt微调fine-tuning

openai/chatgpt微调/fine-tuning/测试用/投喂资源微调涉及以下步骤：准备训练数据：链接:https://download.csdn.net/download/gujunsheng837735
ignore_wen·2023-03-30 20:04

利用GPT-3 Fine-tunes训练专属语言模型

利用GPT-3Fine-tunes训练专属语言模型文章目录什么是模型微调（fine-tuning）？为什么需要模型微调？
JarodYv·2023-03-30 20:38

论文笔记之GPT-GNN: Generative Pre-Training of Graph Neural Networks

一种有效的方式是，在无标签数据上通过自监督的方式预训练一个GNN，然后在下游任务上只需要少量的标注数据进行fine-tuning。本文提出了GPT-GNN通过生成式预训练的方式来初始化GNN。
小弦弦喵喵喵·2023-03-26 19:38

BERT 文本分类 fine-tuning

版权声明：本文为博主原创文章，转载请注明出处.上篇文章介绍了如何安装和使用BERT进行文本相似度任务，包括如何修改代码进行训练和测试。本文在此基础上介绍如何进行文本分类任务。文本相似度任务具体见：BERT介绍及中文文本相似度任务实践文本相似度任务和文本分类任务的区别在于数据集的准备以及run_classifier.py中数据类的构造部分。0.准备工作如果想要根据我们准备的数据集进行fine-tun
风玲儿·2023-03-20 07:50

ChatGPT研究分析：GPT-4做了什么

上一版ChatGPT的主要挑战是，因为模型的训练量极大，很难去进行优化（ChatGPT是fine-tuning的模式）
captain_hwz·2023-03-17 07:40

关于bert的那些面试问题

针对句子语义相似度/多标签分类/机器翻译翻译/文本生成的任务，利用BERT结构怎么做fine-tuning？BERT应用于有空格丢失或者单词拼写错误等数据是否
闫晟·2023-03-09 07:08

R-CNN 阅读笔记

在阅读过程中，找了不少相关的资料来弄清楚比较细节的东西，其中hjimce的博客中，对于细节的理解要更全面一些，比如文中没有具体阐述的非极大值抑算法、对于fine-tuning、训练CNN和SVM的时候标签的定义和设计的思考
programmingfool5·2023-02-22 07:44

【译】BERT Fine-Tuning 指南（with PyTorch）

ByChrisMcCormickandNickRyan原文链接：http://tinyurl.com/y74pvgyc介绍历史2018年是NLP突破的一年，迁移学习、特别是AllenAI的ELMO，OpenAI的Open-GPT，以及Google的BERT，这些模型让研究者们刷新了多项任务的基线（benchmark），并提供了容易被微调预训练模型（只需很少的数据量和计算量），使用它们，可产出当今最
程序员在深圳·2023-02-19 07:22

P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks论文笔记

论文链接：P-Tuningv2:PromptTuningCanBeComparabletoFine-tuningUniversallyAcrossScalesandTasks代码链接：https://github.com/THUDM/P-tuning-v2主要内容将prompttuning引入到NLU(NaturalLanguageUnderstanding)中，提出了P-Tuningv2，可以作
爱嘤嘤的小猪仔·2023-02-17 18:35

Language Models are Few-Shot Learners

Abstract很多Pretrain+Fine-tuning的模型在多种NLP任务上取得不错效果，虽然这种模式下网络结构是任务无关的，但仍然需要任务特定的fine-tuning数据集。
chansonzhang·2023-02-16 23:52

1/200 Learning Efficient Convolutional Networks through Network Slimming

Keywords：networkslimming,Sparsifying,ChannelPruning,Fine-tuning针对问题及解决方案：针对深度神经网络在实际应用中的部署很大程度上受到高计算成本的阻碍的问题
一定向着光的方向·2023-02-07 09:19

BERT:Pre-training of Deep Bidirectional Transformers for Language

fine-tuning：对于微调，首先使用预先训练的参数初始化BERT模型，并使用来自下
直接往二·2023-02-05 14:13

Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning

背景：基于大规模的语言模型。在pretrain-fineTuning两阶段的范式下，pretrain阶段，数据量较大，学习到的知识泛化能力较强。finetuning阶段的数据往往是少量的。以前的工作，通常倾向aggressive。理解为，完全信任新数据，由小数据量的任务完全决定模型参数的更新。在这个过程中，很可能导致了过拟合，而使得效果下降或泛化能力的降低。方法：为了延续模型的泛化能力，可通过只更
吹洞箫饮酒杏花下·2023-02-04 08:02

【科研】ET-BERT资料库梳理

作者原repo链接https://github.com/linwhitehat/ET-BERT0.资料总库分为数据+模型+语料库1.数据集包含fine-tuning数据集（cstnet-tls1.3）与公开数据集
勇往直前的力量·2023-01-31 10:54

Improving Language Understanding by Generative Pre-Training

本文展示了先在大规模未标注语料上预训练生成式语言模型然后在每个判别式任务上进行fine-tuning可以获得较大的效果提升。
chansonzhang·2023-01-30 20:46

Audio-预训练模型-2020：Wav2vec 2.0

contrastivetask将真正的量化的latent变量表示与其他负例分辨出来（同时训练了量化过程的latentrepresentation),由此得到的representation，基于少量的有标签数据fine-tuning
u013250861·2023-01-26 17:52

Prompt tuning新工作，五个参数解决下游任务 fine-tuning

文|小伟编|小轶前言自从Google石破天惊地发布Bert以来，NLP就进入了预训练语言模型的时代。众所周知，我们可以用预训练语言模型来学习各种各样的任务，即使它们的特征空间有比较大的差异。那么预训练语言模型为什么会有这种泛化能力呢？或者说预训练阶段学习到的通用表示为什么可以很容易地适应广泛的下游NLP任务呢？今天介绍的这篇文章从近来大火的prompttuning的角度出发,对这个问题进行了初步的
夕小瑶·2023-01-26 11:55

预训练语言模型fine-tuning近期进展概述

近年来，迁移学习改变了自然语言处理领域的范式，对预训练语言模型（PLM）进行微调（fine-tuning）已经成为了新的范式。本文主要梳理了近期的预训练语言模型做fine-tuning的进展。
zenRRan·2023-01-26 11:54

2021 ACL Parameter-efficient Multi-task Fine-tuning for Transformers via Shared Hypernetworks

Parameter-efficientMulti-taskFine-tuningforTransformersviaSharedHypernetworks阅读这篇文章的目的是为了了解hypernet，相关代码https://github.com/rabeehk/hyperformerparameter-efficientfine-tuning的方法依赖于引入一个adaptermodule。这篇文章
文三路张同学·2023-01-26 08:56

bert关键词提取_ir+bert: sigir19短文一篇

https://arxiv.org/pdf/1905.09217.pdfarxiv.org针对的问题bert的强文本理解能力能否应用到ir领域，能否带来ir领域性能的提升结论使用ir领域数据对bert进行fine-tuning
PS自学部落·2023-01-21 22:35

BERT源码分析（PART II）

写在前面BERT的使用可以分为两个步骤：「pre-training」和「fine-tuning」。
风度78·2023-01-21 10:58

BERT模型fine-tuning

Preface：fine-tuning到底是什么？在预训练模型层上添加新的网络层，然后预训练层和新网络层联合训练。
anshiquanshu·2023-01-19 10:47

论文笔记：Enhancing Pre-trained Chinese Character Representation with Word-aligned Attention

预训练模型种类繁多，如下图用的最多的莫过于大名鼎鼎的BERT预训练模型，同样是基于Pre-training和Fine-tuning模式架构的不管啥模型，第一件事都是tokenizer。
爱吃腰果的李小明·2023-01-17 11:13

BERT 词向量理解及训练更新

1、BERT词向量理解在预训练阶段中，词向量是在不断更新的，而在fine-tuning阶段中，词向量是固定不变的。在fine-tuning阶段中，我们使用预训练好的模型参数来对新的数据进行训练。
loong_XL·2023-01-16 06:07

Prompt-Learning

Prompting使得预训练模型和下游任务之间更加接近，这一点儿与fine-tuning不同，fine-tuning是使用预训练模型做下游任务，promptlearning是各种下游任务适应预训练模型，
xuanningmeng·2023-01-13 21:55

NLP新范式 prompt【0】

NLP新范式prompt【0】与使用具体的分类器的传统Fine-tuning不同，基于prompt的fine-tune直接使用预训练的模型来执行分类或回归的预训练任务。
Pin_BOY·2023-01-13 01:48

curriculum learning

2019/11/21/5dd617335da12/https://blog.csdn.net/qq_25011449/article/details/82914803关于transferLearning和fine-tuning
rockray21·2023-01-12 07:46

屏蔽预训练模型的权重。 只训练最后一层的全连接的权重。_BERT模型

BERT模型是一个两阶段模型，1.语言模型预训练（一般NLP中的预训练都是采用语言模型的任务来做）2.使用Fine-tuning模式解决下游任务。
weixin_39621819·2023-01-11 00:32

模型微调，低预算，高期望！

作为迁移学习中的常用技术，Fine-tuning（微调）已经成为了深度学习革命的重要部分。微调不需要针对新任务从头开始学习，只需要加载预训练模型的参数，然后利用新任务的数据进行一步训练模型即可。
·2023-01-10 19:07

初学谷歌bert模型的预训练和fine-tuning微调

从开始学bert到现在用自己数据跑通bert预训练和微调，已经过去半个多月近三周了，查了很多资料和博客，记录一下自己的历程，也帮助其他入门者更好的了解bert模型。0.本文概览已经来看这篇博客了，bert是什么应该不用多说啦。后面主要叙述我用自己数据预训练和微调的过程。环境：pycharm——anaconda——tensorflow1.13.1-gpu——谷歌bert中文句子分类本文所用的环境快速
.小简.·2023-01-10 14:04

使用MindSpore训练及保存模型

ModelCheckpoint可以保存网络模型和参数，以便进行后续的Fine-tuning（微调）操作。
xiao | yang·2023-01-10 08:00

GPT Understands, Too论文笔记

摘要  GPT使用传统的fine-tuning无法在自然语言理解（NaturalLanguageUnderstanding,NLU）任务上取得良好的效果。
爱嘤嘤的小猪仔·2023-01-09 09:31

Gavin老师Transformer直播课感悟 - BERT多任务Fine-tuning案例实战

一、概述从任务的视角来看BERT的微调(Fine-tuning),通过下游监督式学习的任务（设定预定义的标签）来对BERT预训练之后的网络进行微调，这里需要重点关注的是"FurtherPre-training
m0_49380401·2023-01-07 09:12

模型微调，低预算，高期望！

作为迁移学习中的常用技术，Fine-tuning（微调）已经成为了深度学习革命的重要部分。微调不需要针对新任务从头开始学习，只需要加载预训练模型的参数，然后利用新任务的数据进行一步训练模型即可。
Jina AI·2023-01-06 14:34

【AI】PyTorch实战（三）：迁移学习

通常做法就是在大的数据集（比如ImageNet）上训练出一个CNN，然后提取最后一层卷积层或者倒数第二层全连接层的输出作为CNN特征，然后直接使用SVM、贝叶斯或softmax等分类器进行分类；1.2微调微调Fine-tuning
郭老二·2023-01-05 15:26

Pytorch 微调（Fine-tuning）

Pytorch微调（Fine-tuning）0.环境介绍环境使用Kaggle里免费建立的Notebook教程使用李沐老师的动手学深度学习网站和视频讲解小技巧：当遇到函数看不懂的时候可以按Shift+Tab
哇咔咔负负得正·2023-01-05 15:55

迁移学习resnet_AI实战：迁移学习之使用ResNet做分类

迁移学习包括：1、FeatureExtraction2、Fine-Tuning本文基于tensorflow2.0，使用cats_vs_dog数据集，应用tf.keras.applications创建basemodel
孙晓岸·2023-01-05 14:13

Hugging Face主页课程第三篇《Fine-tuning a pretrained model》

微调预训练模型文章目录微调预训练模型1.本章简介2.处理数据从Hub上下载dataset数据集预处理Dynamicpadding动态填充技术3.使用TrainerAPI微调模型训练Evaluation4.编写训练循环（不使用Trainer）ThetrainingloopTheevaluationloop使用Accelerate增强训练循环5.Fine-tuning总结：本文翻译自HuggingFa
神洛华·2023-01-05 05:30

pytorch使用transformers库进行fine-tuning微调

说明依照官网的使用文档，pytorch下使用transformers进行fine-tuning。我基本全部都是按照文档来的。
eecspan·2023-01-05 05:30

微调(fine-tuning）代码实现

1.热狗识别让我们通过具体案例演示微调：热狗识别。我们将在一个小型数据集上微调ResNet模型。该模型已在ImageNet数据集上进行了预训练。这个小型数据集包含数千张包含热狗和不包含热狗的图像，我们将使用微调模型来识别图像中是否包含热狗。%matplotlibinlineimportosimporttorchimporttorchvisionfromtorchimportnnfromd2limp
chnyi6_ya·2023-01-04 16:14

【译】BERT Fine-Tuning 指南（with PyTorch）

ByChrisMcCormickandNickRyan原文链接：http://tinyurl.com/y74pvgyc介绍历史2018年是NLP突破的一年，迁移学习、特别是AllenAI的ELMO，OpenAI的Open-GPT，以及Google的BERT，这些模型让研究者们刷新了多项任务的基线（benchmark），并提供了容易被微调预训练模型（只需很少的数据量和计算量），使用它们，可产出当今最
程序员在深圳V·2023-01-04 16:43

【ACL2021】Target-Oriented Fine-tuning for Zero-Resource Named Entity Recognition

【ACL2021】Target-OrientedFine-tuningforZero-ResourceNamedEntityRecognition论文地址：https://arxiv.org/abs/2107.10523代码地址：https://github.com/Yarkona/TOFAbstratZero-source的命名实体识别（NER）受特定领域（domain）和特定语言（langua
陈振斌·2023-01-04 15:10

PyTorch环境下对BERT进行Fine-tuning

PyTorch环境下对BERT进行Fine-tuning本文根据ChrisMcCormick的BERT微调教程进行优化并使其适应于数据集QuoraQuestionPairs里的判断问题对是否一致的任务。
元宇宙iwemeta·2023-01-04 15:39

Fine-tuning a Pretrained Network for Style Recognition

官方网站：http://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/examples/02-fine-tuning.ipynbInthisexample,we'llexploreacommonapproachthatisparticularlyusefulinreal-worldapplications:takeapre-trainedCa
Cche1·2023-01-04 15:05

cPSO-CNN: An efficient PSO-based algorithm for fine-tuning hyper-parameters of convolutional neural

1.简介人工群体智能算法，如遗传算法[1]，粒子群优化[2]和烟花算法[3]，自问世以来，一直显示出其在现实世界中优化难题的强大能力。依靠从邻居和环境中收集引导信息并相应调整其行为的简单智能体群体，高智能体作为一个整体出现，其优点是不要求目标问题具有任何优化方便的数学属性，如连续性、可导性或凸性。因此，对于许多复杂的问题，通常是高度非线性和多模态的，系统集成算法通常比传统的数学规划方法性能更好。而
python_little_Boy·2023-01-04 15:05

keras系列︱迁移学习：利用InceptionV3进行fine-tuning及预测、完美案例（五）

之前在博客《keras系列︱图像多分类训练与利用bottleneckfeatures进行微调（三）》一直在倒腾VGG16的fine-tuning，然后因为其中的Flatten层一直没有真的实现最后一个模块的
AI视觉网奇·2023-01-04 15:33

Caffe官方教程翻译（7）：Fine-tuning for Style Recognition

前言最近打算重新跟着官方教程学习一下caffe，顺便也自己翻译了一下官方的文档。自己也做了一些标注，都用斜体标记出来了。中间可能额外还加了自己遇到的问题或是运行结果之类的。欢迎交流指正，拒绝喷子！官方教程的原文链接：http://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/examples/02-fine-tuning.ipynbFine-
hongbin_xu·2023-01-04 15:32

Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D Human Pose Estimation 2020阅读理

本文通过EFT方法生成伪3D数据集，只使用该数据集，从头开始训练3D姿势回归器网络，该网络在诸如3DPW等野外基准测试上的表现超过当前的最先进水平例如HMR。EFT方法可以看作SPIN的改良，即在测试阶段，通过2d重投影loss微调HMR的参数，从而间接调整SMPL系数，使得当前测试样本在尽可能保留HMR的输出效果的同时，降低2d重投影误差。显然SPIN则是通过SMPLify接在HMR后面，通过2
为什么先生2012·2023-01-04 15:32

微调(fine-tuning）

前面的一些章节介绍了如何在只有6万张图像的Fashion-MNIST训练数据集上训练模型。我们还描述了学术界当下使用最广泛的大规模图像数据集ImageNet，它有超过1000万的图像和1000类的物体。然而，我们平常接触到的数据集的规模通常在这两者之间。假如我们想识别图片中不同类型的椅子，然后向用户推荐购买链接。一种可能的方法是首先识别100把普通椅子，为每把椅子拍摄1000张不同角度的图像，然后
chnyi6_ya·2023-01-04 15:59
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他