Fine 第18页

Pytorch实现Bert/RoBerta微调（以MELD数据集为例）

（4）如何保存fine-tune好的BERT/ROBERTA模型参数，以及如何在特征提取阶段使用这些参数？（5）逐层微调以MELD数据集为例的微调RoB

dognoline·2022-12-19 09:17

R-CNN论文解读

博文目录R-CNN概要思路R-CNN流程概述预训练大型分类网络基于特定数据集微调网络训练目标分类器SVMs训练目标回归器R-CNN细节剖析IOU解决类别标注问题fine-tuning与SVM正负样本定义不一样的问题非极大值抑制

enginelong·2022-12-19 08:38

【论文精度】生成式预训练模型——BART（Bidirectional and Auto-Regressive Transformers）

BidirectionalandAuto-RegressiveTransformers）论文：BART引用：【知乎】生成式预训练之BART对于文本理解任务（NaturalLanguageUnderstanding），语言预训练模型+下游任务fine-tune

marasimc·2022-12-18 12:31

细粒度、粗粒度

最近在阅读文献的过程中遇到了fine-grained和coarse-grained的概念，经过查阅其定义如下：细粒度（fine-grained）：粒度似乎根据项目模块划分的细致程度区分的，一个项目模块（

麦子·熟了·2022-12-18 11:42

2019-BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

OutputRepresentations4.2Pre-TrainingBERT4.2.1MaskedLanguageModel(MLM)4.2.2NextSentencePrediction(NSP)4.3Fine-tu

小毛激励我好好学习·2022-12-18 09:50

论文译文——BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

2.2UnsupervisedFine-tuningApproaches（无监督的微调方法）2.3TransferLearningfromSupervisedData（从监督数据进行迁移学习）3.BERT3.1Pre-trainingBERT3.2Fine-tuni

晴晴_Amanda·2022-12-16 12:19

【自监督论文阅读笔记】Contrastive Learning Rivals Masked Image Modeling in Fine-tuning via Feature Distillation

掩码图像建模(MIM)学习表示具有非常好的微调性能，盖过了以前流行的预训练方法，如图像分类、实例对比学习和图像-文本对齐。在本文中，证明了这些预训练方法的较差微调性能可以通过以特征蒸馏(FD)形式的简单后处理来显著改善。特征蒸馏将旧的表示转换成新的表示，新的表示具有一些期望的属性，就像MIM产生的那些表示一样。这些属性，我们统称为optimizationfriendliness优化友好性，通过一组

YoooooL_·2022-12-14 15:10

对YoloV5的backbone进行self-supervised learning以及fine-tuning

文章目录应用场景分离出YoloV5的backbone基于主干网络的自监督训练基于冻结主干梯度的模型预训练模型训练应用场景当你的数据集存在标注数据占比较小，无标注数据占大头的时候，可以考虑下自监督学习来提高主干网络的视觉表征能力，有关自监督学习的论文可以参考这篇博文。分离出YoloV5的backbone将YoloV5的backbone写成一个图像分类网络classYoloBackbone(BaseM

点PY·2022-12-14 05:55

01 Datafountain_云状识别_top1

01Datafountain_云状识别_top1摘要1云状识别算法总体思路和架构2云状识别算法具体实现过程2.1图像增强：2.2多图像尺寸训练：2.3选用densenet161预训练模型进行fine-tune

CV_七少·2022-12-13 20:08

【目标检测】yolo系列-yolo v2(yolo9000)(2016年)

anchorbox先验框☆NewNetwork：Darknet-19DimensionClusters（聚类提取先验框的尺度信息）Directlocationprediction（约束预测边框的位置）Fine-GrainedFeatures

超级无敌陈大佬的跟班·2022-12-13 14:11

粗粒度和细粒度的概念区分

最近在阅读文献的过程中遇到了fine-grained和coarse-grained的概念，仿照课本整理了一下：一、细粒度（fine-grained）：粒度似乎根据项目模块划分的细致程度区分的，一个项目模块

卖核蛋的小男孩·2022-12-13 07:30

【论文理解 AAAI 2021】A search based fine-tuning strategy for few-shot learning

内容概览前言一、整体思想1.研究背景2.微调策略设计二、算法流程1.训练特征提取器2.遗传算法选择最优学习策略3.新类上的微调三、实验结果总结前言这篇文章被AAAI2021录用，于2021年2月挂在arxiv上，在arxiv上面的题目是PartialIsBetterThanAll:RevisitingFine-tuningStrategyforFew-shotLearning，论文的一作来自卡内基

辣椒油li·2022-12-13 06:21

迁移学习冻结部分网络层及修改网络层方法

part1model.trainable=Truefine_tune_at=6forlayerinmodel.layers[:fine_tune_at]:layer.trainable=Falsepass

亮白de饭团·2022-12-13 01:02

MAML (Model-Agnostic Meta-Learning) 解读

Meta-Learning：在大量的学习任务上训练模型，从而让模型仅用小数量的训练样本就可以学习新任务（加速fine-tune）。不同的任务有不同的模型。需要考虑将先前的经验与少量

千羽QY·2022-12-12 20:37

Incremental Learning of Object Detectors without Catastrophic Forgetting 论文阅读

本文概览CNN用于目标检测任务的缺陷——类别遗忘：假设CNN模型A为在一个物体检测训练集1上训练得到的性能较好的检测器，现在有另外一个训练集2，其中物体类别与1不同，使用训练集2在A的基础上进行fine-tune

aiqiu_gogogo·2022-12-12 16:15

PyTorch提高（一）Fine-tuning

Finetuning模型微调一.什么是微调针对某一个任务，当自己训练数据不多时，我们可以找一个同类的别人训练好的模型，换成自己的数据，调整一下参数，再训练一遍，这就是微调。为什么要微调数据集本身很小，从头开始训练具有几千万参数的大型神经网络是不现实的。降低训练成本站在巨人的肩膀上，没必要重复造轮子迁移学习迁移学习几乎都是用在图像识别方向的。迁移学习的初衷是节省人工标注样本的时间，让模型可以通过一个

onion___·2022-12-12 16:00

基于PaddleOCR训练模型识别数字验证码

下载数字图形验证码6.标注数字图形验证码7.准备数据字典8.配置模型训练参数9.训练模型10.测试模型11.导出模型12.应用模型序言以软考成绩查询数字验证码为例，学习如何使用PaddleOCR库调优（fine-tune

eton_liu·2022-12-12 14:13

【迁移学习】

总览图4月21日，迁移学习，2017年很火，以为会研究的越来越多，实则现在初了Fine-tune在用的话，其余貌似不在工业界被使用（只是感觉，没有出处，大家自我辨识）主要是想知道一般迁移学习有哪些方式和应用

快乐成长吧·2022-12-12 11:51

【Transformers】BertModel模块的输入与输出

背景通常我们使用bert进行模型fine-tune时，大多是使用Transformer这个包，官方地址：https://huggingface.co/.如果想使用Bert获取任务对应的动态词向量，那么这时我们就需要了解

科皮子菊·2022-12-10 20:51

Fast R-CNN讲解

文章目录一：解决的问题二：模型结构三：训练步骤1.预训练模型2.Fine-tunningstep1:转化预训练模型step2:训练图像的RP搜索与ROI选择step3:输入网络中进行调优训练①RoI池化层

江南綿雨·2022-12-10 20:17

Transformers训练和微调：Training and Fine-tuning

Transformers种的模型类旨在兼容Pytorch和Tensorflow2，并且可以无缝地在其中使用。本节，会展示如何使用标准的训练工具从头开始训练或微调一个模型。此外，也会展示如何使用Trainer()类来处理复杂的训练过程。使用PyTorch来微调自定义任务模型在Transformers中，不以TF开头的模型类是Pytorch模型，这意味着你可以使用它们像Pytorch模型一样进行推理和

HMTT·2022-12-10 15:03

FILIP论文翻译

FILIP:FINE-GRAINEDINTERACTIVELANGUAGE-IMAGEPRE-TRAINING原文连接：https://arxiv.org/abs/2111.07783v1细粒度交互式语言

lhxxxmad·2022-12-10 03:40

chatGPT笔记

followtheuser’sinstructionshelpfullyandsafelyinstructGPT跟GPT-3的网络结构是一样的，区别在于训练阶段的不同，instructGPT使用了标注数据进行fine-tune

zh515858237·2022-12-09 10:21

【NLP】Transformers 源码阅读和实践

主要以pytorch为例(tf2.0代码风格几乎和pytorch一致)，介绍BERT使用的TransformerEncoder，Pre-trainingTasks和Fine-tuningTasks。

风度78·2022-12-08 19:35

语义分割-CityScapes数据集

Cityscapes数据集共有fine和coarse两套评测标准，前者提供5000张精细标注的

Good@dz·2022-12-08 19:44

【论文笔记】API-Net：Learning Attentive Pairwise Interaction for Fine-Grained Classification

API-Net简介创新点mutualvectorlearning（互向量学习）gatevectorgeneration（门向量生成器）pairwiseinteraction（成对交互）队构造（PairConstruction）实验结果总结简介2020年发表在AAAI的一篇细粒度分类论文。人类在区分不同子类的图像时，会成对地进行比较。本文模仿这一行为，同时提取并融合一对图片的特征，提高了网络辨别不同

事多做话少说·2022-12-08 15:04

Cvae-gan: fine-grained image generation through asymmetric training论文阅读笔记

论文原文地址:CVAE-GAN:fine-grainedimagegenerationthroughasymmetrictraining推荐阅读：VAE全面理解生成模型——变分自编码器VAE从GANVAE

只会写bug的菜鸡·2022-12-08 12:15

震惊！三个万引大佬嘴仗，原来是为了他……？

象征性地打开论文，草草扫过去，嗯，迁移学习，嗯，新SOTA，嗯，计算需要的储存资源是fine-tuning的1%。哇哦，厉害，厉害，但这不影响我不想写呀？

夕小瑶·2022-12-07 14:57

Paper reading：Fine-Grained Head Pose Estimation Without Keypoints （CVPR2018）

Paperreading：Fine-GrainedHeadPoseEstimationWithoutKeypoints（CVPR2018）一、背景为什么要读这篇论文，因为LZ之前要做头部姿态估计，看到一些传统的方法

Felaim·2022-12-07 09:10

【目标检测】Fast R-CNN前言

目录：论文FastR-CNN前言总结一、概述1.背景2.R-CNN缺点3.SPPNet二、FastR-CNN简介三、ROIpoolinglayer四、fine-tuning一、概述1.背景简化了最先进的基于卷积网络的目标检测器的训练过程

旅途中的宽~·2022-12-06 20:51

李宏毅机器学习笔记（）Transfer Learning

二、fine-tuningtargetdata和sourcedata同时都有label。targetdata量非常少（叫做one-shotlearning），sourcedata很多。

处女座程序员的朋友·2022-12-05 19:04

翻译：GloVe: Global Vectors forWord Representation

摘要：最近学习单词的向量空间表示（vectorspacerepresentationsofwords）的方法已成功地使用向量算法（vectorarithmetic）捕获细粒度的语义（fine-grainedsemantic

BruceCheen·2022-12-05 17:05

[NLP] 资源整理 -- Bert预训练fine-tune(微调)入门

博客1.一篇中文个人博客，结合了kaggle比赛的一个新闻分类任务，示例的代码可以直接运行，推荐。进击的Bert2.一篇博客园的博客BERT预训练模型及文本分类3.一篇英文博客BERTWordEmbeddingsTutorial官方资源1.transformers预训练模型2.huggingface-transformers3.huggingface-pretrainedmodels4.huggi

YangZ_L·2022-12-04 07:00

深度学习（二）BERT模型及其一系列衍生模型

6.Fine-Tuning①case1Clas

青年有志·2022-12-04 06:04

BERT基于transformer的双向编码器

BidirectionEcoderRepresentationsfromTransformers）：左右信息，深的双向Transformer编码（enceder）模型基于特征的模型feature-based：ELMo，基于RNN基于微调的模型fine-tuning

山上的小酒馆·2022-12-03 20:09

知识图谱：【知识图谱问答KBQA（三）】——Prompt Learning

3.Pre-train,Fine-tune先在大数据集上预训练，再根据特

J_Xiong0117·2022-12-03 09:23

【目标检测】SSD: Single Shot MultiBox Detector 模型fine-tune和网络架构

而方法2，说的是fine-tune已经训练好的SSDmodel，最近没来得及进行调参，初次实验效果有限，先把过程和原理记录下来，免得忘了，然后还会说下SSD的网络架

苍穹sky·2022-12-03 08:02

Hugging Face主页课程第一篇《Transformer models》

HuggingFace主页课程第二篇《UsingTransformers》HuggingFace主页课程第三篇《Fine-tuningapretrainedmodel》HuggingFace主页课程部分解析文章目录

神洛华·2022-12-03 07:35

MXNet通过fine-tune VGG网络对Cifar-10分类

MxNet中通过mx.gluon.model_zoo.vision下载的pre-trained模型是在imagenet1k上训练的，本文就使用下载的预训练模型通过fine-tune对Cifar-10进行分类

傻神妮妮·2022-12-02 20:55

《RefineMask：Towards High-Quality Instance Segmentation with Fine-Grained Features》论文笔记

参考代码：RefineMask1.概述导读：在这篇文章中针对以Mask-RCNN为代表的实例分割模型存在实例分割mask掩膜边界补贴合的问题进行探究，文章指出由于网络存在下采样操作以及RoIPooling的操作使得进行mask预测的特征图丢失了很多细节信息，进而导致了实例分割结果边界较差的问题。对此文章从如下几个方面对实例分割头部分进行改进：1）直接使用FPN网络特征图输出的P2P2P2特征图添加

m_buddy·2022-12-02 19:25

视觉Transformer中的位置编码方式

这种方式的不足是序列化长度固定了，在遇到较大分辨率图像时可以对学习好的positionalembedding进行插值然后对模型进行fine-tune。

阳光素描·2022-12-02 18:11

bert 自己语料预训练pre-train、微调fine-tune；tensorflow/pytorch矩阵点乘、叉乘区别

1、bert预训练模型加自己语料再训练pre-train参考：https://github.com/zhusleep/pytorch_chinese_lm_pretrainhttps://github.com/bojone/bert4keras/tree/master/pretraininghttps://github.com/xv44586/toolkit4nlp/tree/master/pre

loong_XL·2022-12-02 16:08

Pre-train 与 Fine-tuning

预训练顾名思义就是指之前被训练好的Model,比如很大很耗时间的model,你又不想从头training一遍。这时候可以直接download别人训练好的model，里面保存的都是每一层的parameter配置情况。(Caffe里对于ImageNet的一个model,我记得是200+M的model大小)。你有了这样的model之后，可以直接拿来做testing,前提是你的output的类别是一样的。

屋顶上的小贝·2022-12-02 16:08

译（自编码器） Hinton2006---Reducing the Dimensionality of Data with Neural Networks

在这种“自动编码器（autoencoder）”网络中，梯度下降可以用来微调（fine-tuning）权值，但是只有在初始

大晴天下的多肉·2022-12-02 09:43

数学公式识别论文（二）：Image-to-Markup Generation with Coarse-to-Fine Attention

上节我们介绍到了Model部分，我们在接着往下阅读：ConvolutionalNetwork卷积网络图像的视觉特征是通过与最大池层交错的多层卷积神经网络提取的。现在，该网络体系结构已成为标准。我们专门针对Shi等人使用的网络进行建模。（2015）用于图像的OCR（规格在表1中给出）。与最近的OCR工作（Jaderberg等，2015；Lee＆Osindero，2016）不同，我们不使用最终的全连接

Jeremy_lf·2022-12-02 06:22

GPT语言模型

GPT：GPT采用了大量的无监督的数据进行预训练（Pre-training），并在有监督的数据上进行微调（Fine-tuning）来做具体的NLP的任务。

小杨变老杨·2022-12-02 00:26

图神经网络上的预训练模型，思考与总结

在这样的一个既定事实之上，基于pretrain+fine-tuning的思路去进行工业化应用也似乎达成了一种共识。但是，GNNGNN领域似乎倒还停留在设

人工智能与算法学习·2022-12-01 12:21

中文版GPT3——CPM(2.6B)微调长短文本生成(对应小说歌词)

传统预训练模型往往需要经过有监督训练数据微调(Fine-

Klein-·2022-11-30 16:00

EasyNLP发布融合语言学和事实知识的中文预训练模型CKBERT

我们发现，知识注入的过程都伴随着很大规模的知识参数，下游任务fine-tune的时候仍然需要外部数据的支撑才能达到比较好的效果，从而无法在云环境中很好的提供给用户进

阿里云大数据AI技术·2022-11-30 13:05

Prefix-Tuning: Optimizing Continuous Prompts for Generation

1.本文提出了Prefix-Tuning，一种轻量级的自然语言生成任务的fine-tune替代方案，使语言模型参数保持冻结状态，但是优化了一个小的连续的特定于任务的向量（这个向量称之为前缀）。

一直在路上的程序猿·2022-11-30 08:16

推荐频道

Fine