Fine

curriculum learning

2019/11/21/5dd617335da12/https://blog.csdn.net/qq_25011449/article/details/82914803关于transferLearning和fine-tuning
rockray21·2023-01-12 07:46

course-to-fine(3) CURRICULUM LEARNING

COARSE-TO-FINECURRICULUMLEARNINGFORCLASSIFICATIONPublishedasaworkshoppaperat“BridgingAIandCognitiveScience”(ICLR2020)Inthispaper,weproposeanalgorithmforlearningandusingacurriculuminthecontextofmachine
momoka9·2023-01-12 07:45

Sketch Less for More: On-the-Fly Fine-Grained Sketch Based Image Retrieval (CVPR 2020 Oral)

Author：HorizonMax✨编程技巧篇：各种操作小结神经网络篇：经典网络模型SketchLessforMore:On-the-FlyFine-GrainedSketchBasedImageRetrievalAbstractContributionsIntroductionRelatedWorksCategory-levelSBIRFine-grainedSBIRPartialSketchR
Horizon Max·2023-01-11 12:44

OUC软件工程实验四：猫狗大战

本次实验使用fine-tune的VGG网络进行测试(因为原网络的分类结果是1000类，所以这里进行迁移学习，即固定前面若干层，作为特征提取器，只重新训练最后两层）。
ES_Rt·2023-01-11 09:53

LayoutLMv2: Multi-modal Pre-training for Visually-rich Document Understanding

不同于普通的LayoutLM模型，在fine-tune阶段结合视觉嵌入，LayoutLMv2在pre-train阶段集成视觉信息。
Tsukinousag1·2023-01-11 02:01

屏蔽预训练模型的权重。 只训练最后一层的全连接的权重。_BERT模型

BERT模型是一个两阶段模型，1.语言模型预训练（一般NLP中的预训练都是采用语言模型的任务来做）2.使用Fine-tuning模式解决下游任务。
weixin_39621819·2023-01-11 00:32

模型微调，低预算，高期望！

作为迁移学习中的常用技术，Fine-tuning（微调）已经成为了深度学习革命的重要部分。微调不需要针对新任务从头开始学习，只需要加载预训练模型的参数，然后利用新任务的数据进行一步训练模型即可。
·2023-01-10 19:07

初学谷歌bert模型的预训练和fine-tuning微调

从开始学bert到现在用自己数据跑通bert预训练和微调，已经过去半个多月近三周了，查了很多资料和博客，记录一下自己的历程，也帮助其他入门者更好的了解bert模型。0.本文概览已经来看这篇博客了，bert是什么应该不用多说啦。后面主要叙述我用自己数据预训练和微调的过程。环境：pycharm——anaconda——tensorflow1.13.1-gpu——谷歌bert中文句子分类本文所用的环境快速
.小简.·2023-01-10 14:04

使用MindSpore训练及保存模型

ModelCheckpoint可以保存网络模型和参数，以便进行后续的Fine-tuning（微调）操作。
xiao | yang·2023-01-10 08:00

Transformer+BERT 推特文本分类(是否抱怨)

文章目录1.基础设置2.下载/导入数据集2.1下载数据集2.2LoadTrainData2.3LoadTestData3.设置GPU/CPU来训练4.Fine-tuningBERT4.1对原始文本进行轻微的数据处理
语译分西·2023-01-09 09:36

Bert实战之文本分类（附代码）

Bert实战之文本分类1、概要2、Bert怎么用2.1fine-tune（微调）2.2featureextract（特征抽取）3、coding3.1基于fine-tune的文本分类3.2基于featureextract
明子哥哥·2023-01-09 09:04

GPT Understands, Too论文笔记

摘要  GPT使用传统的fine-tuning无法在自然语言理解（NaturalLanguageUnderstanding,NLU）任务上取得良好的效果。
爱嘤嘤的小猪仔·2023-01-09 09:31

【笔记】GPT

【笔记】GPT文章目录【笔记】GPT介绍原理预训练过程fine-tuningGPT和ELMO非常相似，把语言模型直接迁移到具体的NLP任务中，因此，更容易迁移学习；不过也有弊端，这种将结构带入下游任务中的模式
Finks_chen·2023-01-09 09:27

元学习论文解读 | Repurposing pretrained models for robust out-of-domain few-shot learning, ICLR2022

然而在实践中，在元训练集上进行re-train或fine-tune可能是行不通的，并且测试任务可能来自不同的分布（cross-domain），所以元测试的优化步长不一定要和元训练一致。
RitaRao·2023-01-08 10:37

NLP-预训练语言模型

文章目录发展历程迁移学习预训练、精调范式（Pre-train,Fine-tune)发展历程神经语言模型→浅层次词向量→深层次词向量→预训练语言模型神经语言模型\to浅层次词向量\to深层次词向量\to预训练语言模型神经语言模型
◝(⑅•ᴗ•⑅)◜..°♡·2023-01-08 09:20

【图像去模糊2】SRN-DeblurNet论文笔记

一.论文概述本论文中，作者研究了图像去模糊中的”coarse-to-fine”方案并提出了一个尺度循环网络——SRN-DeblurNet,用于图像去模糊任务。
亿点困难·2023-01-08 08:23

CVPR2020 有关Cross Domain论文阅读总结与思考

ProgressiveAdversarialNetworksforFine-GrainedDomainAdaptation作者：SinanWang,XinyangChen,YunboWang,MingshengLong,andJianminWang所解决的问题是在Fine-Grained
Leepupupu·2023-01-07 22:56

Gavin老师Transformer直播课感悟 - BERT多任务Fine-tuning案例实战

一、概述从任务的视角来看BERT的微调(Fine-tuning),通过下游监督式学习的任务（设定预定义的标签）来对BERT预训练之后的网络进行微调，这里需要重点关注的是"FurtherPre-training
m0_49380401·2023-01-07 09:12

BIBM2019_Fine-tuning BERT for Joint Entity and Relation Extraction in Chinese Medical Text

基于微调BERT的中文医学文本实体关系联合抽取摘要Ⅰ介绍Ⅱ相关工作A.NERB.RCC.实体关系联合抽取Ⅲ方法A.BERT语言模型B.动态范围注意机制C.聚焦注意模型D.联合学习Ⅳ实验A.数据集和评价指标B.实验设置C.实验结果Ⅴ.实验分析A.超参数分析B.消融分析总结论文.摘要  实体和关系抽取是构建医学文本的必要步骤。然而，现有模型中双向长短期记忆网络的特征提取能力并没有达到最好的效果。同时，
All in .·2023-01-07 07:40

论文阅读 [TPAMI-2022] Guest Editorial: Introduction to the Special Section on Fine-Grained Visual Catego

论文阅读[TPAMI-2022]GuestEditorial:IntroductiontotheSpecialSectiononFine-GrainedVisualCategorization论文搜索(studyai.com)搜索论文:GuestEditorial:IntroductiontotheSpecialSectiononFine-GrainedVisualCategorization搜索
北岭狼人·2023-01-06 15:23

模型微调，低预算，高期望！

作为迁移学习中的常用技术，Fine-tuning（微调）已经成为了深度学习革命的重要部分。微调不需要针对新任务从头开始学习，只需要加载预训练模型的参数，然后利用新任务的数据进行一步训练模型即可。
Jina AI·2023-01-06 14:34

Hierarchical Fine Extraction Method of Street Tree Information from Mobile LiDAR Point Cloud Data

Abstract道路场景中行道树几何信息的分类和提取对于城市森林生物量统计和道路安全至关重要。为解决复杂道路场景中行道树的三维精细提取问题，设计并研究了一种基于高斯分布区域生长算法和Voronoi范围约束的道路场景车载LiDAR点云提取行道树几何和森林参数的方法。首先，应用多几何特征过滤掉大量非树木和其他噪声点，如地面点、建筑物、灌木和车辆点；然后，基于树的垂直线特征和基于高斯分布的区域生长算法提
fish小余儿·2023-01-05 20:19

PaddleDetection常用配置参数

YOLOv3为例snapshot_iter:2000#建议设置为最大训练batch数除以50，即总共保存50个模型use_fine_grained_loss:false#细粒度损失，在目标类别非常相近（
陌北v1·2023-01-05 19:48

【AI】PyTorch实战（三）：迁移学习

通常做法就是在大的数据集（比如ImageNet）上训练出一个CNN，然后提取最后一层卷积层或者倒数第二层全连接层的输出作为CNN特征，然后直接使用SVM、贝叶斯或softmax等分类器进行分类；1.2微调微调Fine-tuning
郭老二·2023-01-05 15:26

Pytorch 微调（Fine-tuning）

Pytorch微调（Fine-tuning）0.环境介绍环境使用Kaggle里免费建立的Notebook教程使用李沐老师的动手学深度学习网站和视频讲解小技巧：当遇到函数看不懂的时候可以按Shift+Tab
哇咔咔负负得正·2023-01-05 15:55

迁移学习resnet_AI实战：迁移学习之使用ResNet做分类

迁移学习包括：1、FeatureExtraction2、Fine-Tuning本文基于tensorflow2.0，使用cats_vs_dog数据集，应用tf.keras.applications创建basemodel
孙晓岸·2023-01-05 14:13

Neo4j【有与无】【N4】构建图形数据库应用程序

目录1.数据建模1.1.根据应用程序的需求描述模型1.2.事物的节点，结构的关系（NodesforThings,RelationshipsforStructure）1.3.精细关系与一般关系（Fine-GrainedversusGenericRelationships
琴 韵·2023-01-05 14:13

文本表达进击：从BERT-flow到BERT-whitening、SimCSE

很多NLP任务都会直接在BERT的基础上做一个fine-tune，构建一个baseline模型，既快捷也使用，但BERT在做文本表达任务时也有一些明显的缺点。
PaperWeekly·2023-01-05 10:13

Hugging Face主页课程第三篇《Fine-tuning a pretrained model》

使用TrainerAPI微调模型训练Evaluation4.编写训练循环（不使用Trainer）ThetrainingloopTheevaluationloop使用Accelerate增强训练循环5.Fine-tuning
神洛华·2023-01-05 05:30

pytorch使用transformers库进行fine-tuning微调

说明依照官网的使用文档，pytorch下使用transformers进行fine-tuning。我基本全部都是按照文档来的。
eecspan·2023-01-05 05:30

BertSum-基于BERT模型的抽取式文本摘要

该论文一开始挂在arXiv时，为《Fine-tuneBERTforExtractiveSummarization》，主要介绍了如何使用BERT模型进行抽取式（Extractive）摘要。
刘聪NLP·2023-01-04 18:47

微调(fine-tuning）代码实现

1.热狗识别让我们通过具体案例演示微调：热狗识别。我们将在一个小型数据集上微调ResNet模型。该模型已在ImageNet数据集上进行了预训练。这个小型数据集包含数千张包含热狗和不包含热狗的图像，我们将使用微调模型来识别图像中是否包含热狗。%matplotlibinlineimportosimporttorchimporttorchvisionfromtorchimportnnfromd2limp
chnyi6_ya·2023-01-04 16:14

【译】BERT Fine-Tuning 指南（with PyTorch）

ByChrisMcCormickandNickRyan原文链接：http://tinyurl.com/y74pvgyc介绍历史2018年是NLP突破的一年，迁移学习、特别是AllenAI的ELMO，OpenAI的Open-GPT，以及Google的BERT，这些模型让研究者们刷新了多项任务的基线（benchmark），并提供了容易被微调预训练模型（只需很少的数据量和计算量），使用它们，可产出当今最
程序员在深圳V·2023-01-04 16:43

【ACL2021】Target-Oriented Fine-tuning for Zero-Resource Named Entity Recognition

【ACL2021】Target-OrientedFine-tuningforZero-ResourceNamedEntityRecognition论文地址：https://arxiv.org/abs/2107.10523代码地址：https://github.com/Yarkona/TOFAbstratZero-source的命名实体识别（NER）受特定领域（domain）和特定语言（langua
陈振斌·2023-01-04 15:10

caffe学习笔记10.1--Fine-tuning a Pretrained Network for Style Recognition(new)

在之前的文章里，写过一个关于微调的博客，但是今天上去发现这部分已经更新了http://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/examples/02-fine-tuning.ipynb
thystar·2023-01-04 15:09

PyTorch环境下对BERT进行Fine-tuning

PyTorch环境下对BERT进行Fine-tuning本文根据ChrisMcCormick的BERT微调教程进行优化并使其适应于数据集QuoraQuestionPairs里的判断问题对是否一致的任务。
元宇宙iwemeta·2023-01-04 15:39

【Dataset】GoEmotions: A Dataset of Fine-Grained Emotions

GoEmotions:ADatasetofFine-GrainedEmotionsAbstract理解用语言表达的情感有广泛的应用，从建立有同情的聊天机器人到检测有害的在线行为。可以使用具有细粒度类型的大规模数据集来改进，以适应该领域的进展。本文介绍了GoEmotits数据集，这是最大的58k个英语Reddit注释的手动注释数据集，标记为27种情绪类别或中性。作者通过主保留成分分析来演示了高质量的
Vincy_King·2023-01-04 15:06

(学习周记1)论文eXtreme Multi-label Text Classification和Fine-tune BERT for Text Classification

一、X-BERT：eXtremeMulti-labelTextClassificationusingBERT本篇论文数据、代码和预训练模型获取地址:[https://github.com/OctoberChang/X-BERT]AbstractExtrememulti-labeltextclassification(XMC)超级多标签的文本分类问题，简称XMC，是从一个超级大的标签集中选取与文本最
烈士和小丑·2023-01-04 15:36

Fine-tuning a Pretrained Network for Style Recognition

官方网站：http://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/examples/02-fine-tuning.ipynbInthisexample
Cche1·2023-01-04 15:05

cPSO-CNN: An efficient PSO-based algorithm for fine-tuning hyper-parameters of convolutional neural

1.简介人工群体智能算法，如遗传算法[1]，粒子群优化[2]和烟花算法[3]，自问世以来，一直显示出其在现实世界中优化难题的强大能力。依靠从邻居和环境中收集引导信息并相应调整其行为的简单智能体群体，高智能体作为一个整体出现，其优点是不要求目标问题具有任何优化方便的数学属性，如连续性、可导性或凸性。因此，对于许多复杂的问题，通常是高度非线性和多模态的，系统集成算法通常比传统的数学规划方法性能更好。而
python_little_Boy·2023-01-04 15:05

keras系列︱迁移学习：利用InceptionV3进行fine-tuning及预测、完美案例（五）

之前在博客《keras系列︱图像多分类训练与利用bottleneckfeatures进行微调（三）》一直在倒腾VGG16的fine-tuning，然后因为其中的Flatten层一直没有真的实现最后一个模块的
AI视觉网奇·2023-01-04 15:33

Caffe官方教程翻译（7）：Fine-tuning for Style Recognition

官方教程的原文链接：http://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/examples/02-fine-tuning.ipynbFine
hongbin_xu·2023-01-04 15:32

Exemplar Fine-Tuning for 3D Human Model Fitting Towards In-the-Wild 3D Human Pose Estimation 2020阅读理

本文通过EFT方法生成伪3D数据集，只使用该数据集，从头开始训练3D姿势回归器网络，该网络在诸如3DPW等野外基准测试上的表现超过当前的最先进水平例如HMR。EFT方法可以看作SPIN的改良，即在测试阶段，通过2d重投影loss微调HMR的参数，从而间接调整SMPL系数，使得当前测试样本在尽可能保留HMR的输出效果的同时，降低2d重投影误差。显然SPIN则是通过SMPLify接在HMR后面，通过2
为什么先生2012·2023-01-04 15:32

微调(fine-tuning）

前面的一些章节介绍了如何在只有6万张图像的Fashion-MNIST训练数据集上训练模型。我们还描述了学术界当下使用最广泛的大规模图像数据集ImageNet，它有超过1000万的图像和1000类的物体。然而，我们平常接触到的数据集的规模通常在这两者之间。假如我们想识别图片中不同类型的椅子，然后向用户推荐购买链接。一种可能的方法是首先识别100把普通椅子，为每把椅子拍摄1000张不同角度的图像，然后
chnyi6_ya·2023-01-04 15:59

HuggingFace API学习（2）

HuggingFaceAPI学习Fine-Tuning处理数据在之前获取tokenizer和model的基础上，增加以下代码：batch=tokenizer(sequences,padding=True
小千不爱内卷·2023-01-04 11:48

【论文阅读】ZebraPose: Coarse to Fine Surface Encoding for 6DoF Object Pose Estimation

一篇CVPR2022的文章，心血来潮记录下自己的笔记。论文链接论文主体内容本文主要解决6D位姿预测中建立图像（2D）到3D的对应关系的问题发展情况：sparsetemplates→\to→deeplylearneddensemaps→\to→learningobjectfragmentsassegmentation本文提出一个discretedescriptor能够denselyrepresent
Lies.·2023-01-03 16:26

【动手学深度学习v2】计算机视觉——2微调

微调Fine-Tuning1网络架构2微调步骤3训练4常用技术重用分类器权重固定一些层5总结1网络架构一个神经网络一般可以分两块：特征抽取，将原始像素变成容易线性分割的特征Softmax回归，线性分类器做分类
Hannah2425·2023-01-03 13:29

达摩院开源预训练数据微调框架UOT NeurIPS论文深入解读

ImprovedFine-TuningbyBetterLeveragingPre-TrainingData代码链接：https://github.com/ziquanliu/NeurIPS2022_UOT_fine_tuning
AI记忆·2023-01-03 09:46

Pytorch—模型微调（fine-tune）

随着深度学习的发展，在大模型的训练上都是在一些较大数据集上进行训练的，比如Imagenet-1k，Imagenet-11k,甚至是ImageNet-21k等。但我们在实际应用中，我们自己的数据集可能比较小，只有几千张照片，这时从头训练具有几千万参数的大型神经网络是不现实的，因为越大的模型对数据量的要求越高，过拟合无法避免。因为适用于ImageNet数据集的复杂模型，在一些小的数据集上可能会过拟合，
ytusdc·2023-01-03 09:27

9.2_fine-tuning

9.2微调在前面的一些章节中，我们介绍了如何在只有6万张图像的Fashion-MNIST训练数据集上训练模型。我们还描述了学术界当下使用最广泛的大规模图像数据集ImageNet，它有超过1,000万的图像和1,000类的物体。然而，我们平常接触到数据集的规模通常在这两者之间。假设我们想从图像中识别出不同种类的椅子，然后将购买链接推荐给用户。一种可能的方法是先找出100种常见的椅子，为每种椅子拍摄1
给算法爸爸上香·2023-01-02 16:18
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他