FineTuning 第2页

【AIGC】16、Vision-Language 模型在视觉任务中的调研

3.1使用prompttuning实现迁移学习3.2通过特征适应来进行迁移学习四、VLM的知识蒸馏4.1目标检测的知识蒸馏4.2语义分割的知识蒸馏一、简介近来，一种新的学习范式pre-training→Finetuning

呆呆的猫·2023-06-18 12:24

大模型微调开源项目整理||干货

liucongg/ChatGLM-Finetuning:基于ChatGLM-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning等(github.com)mymusise/ChatGLM-Tuning

思考实践·2023-06-14 12:21

ssbuild大佬的chatglm_finetuning项目---data_utils.py代码解读

#@Time:2023/1/2216:22#@Author:tk#@FileName:data_utils.pyimportcopyimportjsonimportosimportrandomimporttypingfromenumimportEnumimportnumpyasnpimporttorchfromdeep_training.data_helperimportDataHelper,Mo

柴多多·2023-06-13 15:20

大模型LLM-微调经验分享&总结

liucongg/ChatGLM-Finetuning:基于ChatGLM-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning等(github.com)https://gith

思考实践·2023-06-13 05:33

【Huggingface系列学习】Finetuning一个预训练模型

文章目录ProcessingthedataLoadadatasetfromtheHubPreprocessingadatasetDynamicpaddingFine-tuningamodelwiththeTrainerAPITrainingEvaluationTrainer背后的过程训练前的准备ProcessingthedataLoadadatasetfromtheHub我们可以利用下面的代码来训

长命百岁️·2023-06-12 17:04

tensorflow实践—微调AlexNet

根据AlexNet模型做出微调https://kratzert.github.io/2017/02/24/finetuning-alexnet-with-tensorflow.html（原文出处）正文为黑色

Pierce_KK·2023-06-09 03:57

GPT 探索

实现方案自建专属模型根据自有数据源，把GPT训练成我们自用的模型，需要走微调（finetuning），目前gpt-3.5-turbo暂不开放微调，但用可以GPT3（text-davinci-003）的模型

python算法工程师·2023-06-08 21:59

TensorFlow 同时导入多个预训练模型进行 finetuning

这篇文章将说明怎么同时导入多个预训练模型进行训练。前面的文章TensorFlow使用预训练模型ResNet-50介绍了怎么导入一个单模型预训练参数对模型进行finetune，但对一些复杂的任务，可能需要对多个模型进行组合，比如如下的模型并行：双模型并行或者模型级联：双模型级联这个时候就需要一次导入多个预训练模型参数，然后进行训练。现在来看多模型并行的情况（多模型级联一样），以双模型并行为例。仍然沿

公输睚信·2023-03-20 20:04

论文《Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning》学习笔记

论文链接：https://arxiv.org/abs/2109.041441.Motivation在进行sentencepairclassification的时候，如果是few-shotlearning,使用prompt-basedfinetuning很容易产生启发式推理(InferenceHeuristics)的问题（即：模型会因为一个句子对由同一个单词组成，从而假设这个句子对具有相同的含义）,

Vincy_King·2023-02-17 18:33

【NLP】Prompt-Tuning这么好用？

作者：十方使用prompts去调节预训练模型处理文本分类任务在小样本上已经取得了比直接finetuning模型更好的效果，prompt-tuning的核心思想就是嵌入一小段文本，比如对于文本分类任务，将其转变成填空任务

风度78·2023-02-17 18:02

Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning

在pretrain-fineTuning两阶段的范式下，pretrain阶段，数据量较大，学习到的知识泛化能力较强。finetuning阶段的数据往往是少量的。

吹洞箫饮酒杏花下·2023-02-04 08:02

【Pytorch项目实战】之迁移学习：特征提取、微调、特征提取+微调、雾霾清除

文章目录迁移学习（TransferLearning）方法一：特征提取（FeatureExtraction）方法二：微调（FineTuning）（一）实战：基于特征提取的迁移学习（数据集：CIFAR-10

胖墩会武术·2023-02-01 20:43

AdaPrompt: Adaptive Prompt-based Finetuning for Relation Extraction

AdaPrompt:AdaptivePrompt-basedFinetuningforRelationExtraction本文仅供参考、交流、学习论文地址：https://arxiv.org/abs/2104.07650v1代码和数据集地址：暂无1.摘要在本文中，将关系抽取任务重新定义为掩码语言建模，并提出一种基于提示（prompt）的自适应微调方法。文中提出了一种自适应的标签词选择机制，该机

回锅肉炒肉·2023-01-26 11:23

【YOLO】预训练，微调

问题描述：在阅读YOLO论文的时候，总是出现预训练(pretraining)以及微调(finetuning)。那么问题来了：预训练是什么？为什么要用预训练？怎样预训练？微调是什么？为什么要用微调？

一场玫瑰花的葬礼·2023-01-19 12:20

Mask R-CNN的PyTorch实现（医学图像上的应用）

源码：https://github.com/pytorch/tutorials/blob/master/_static/torchvision_finetuning_instance_segmentation.ipynb

画外人易朽·2023-01-12 11:50

【YOLO】之理解预训练和微调

问题描述：在阅读YOLO论文的时候，总是出现预训练(pretraining)以及微调(finetuning)。那么问题来了：预训练是什么？为什么要用预训练？怎样预训练？微调是什么？为什么要用微调？

酸梅果茶·2023-01-10 22:50

nlp正样本太多_【GPT-3论文翻译】语言模型是小样本学习者(Few-Shot Learners)（施工中）...

摘要最近的工作证明了使用大量文本进行预训练，然后对特定任务进行微调(finetuning)，可以在许多NLP任务和基准方面的得到巨大的提升。

燕尾蝶田·2023-01-02 10:36

R-CNN论文解读

流程概述预训练大型分类网络基于特定数据集微调网络训练目标分类器SVMs训练目标回归器R-CNN细节剖析IOU解决类别标注问题fine-tuning与SVM正负样本定义不一样的问题非极大值抑制(NMS)训练目标回归器代码大致实现步骤大数据集预训练模型finetuning

enginelong·2022-12-19 08:38

Meta Learning

文章目录一、Few-shotlearning:basicconcepts二、Siamesenetwork1.两两2.tripletloss三、Pretraining+finetuning1.Preliminary

老干妈拌士力架·2022-12-18 07:44

[nlp] Bert 冻结参数，打开训练emb

NLP之旅对抗训练的理解，以及FGM、PGD和FreeLB的详细介绍__illusion_的博客-CSDN博客_freelb使用huggingface的Transformers预训练自己的bert模型+FineTuning_Wisley.Wang

(∩ᵒ̴̶̷̤⌔ᵒ̴̶̷̤∩)·2022-12-16 10:18

MiniLM V2 深度自注意力蒸馏: Multi-Head Self-Attention Relation Distillation for Compressing Pretrain

NeurIPS2020）MINILM-知乎论文个人理解目的与V1一样，本篇paper也是在预训练阶段蒸馏模型（跟任务无关的蒸馏架构），下游任务直接load蒸馏预训练好的student模型，使用任务相关数据finetuning

亦万·2022-12-14 15:39

PyTorch提高（一）Fine-tuning

Finetuning模型微调一.什么是微调针对某一个任务，当自己训练数据不多时，我们可以找一个同类的别人训练好的模型，换成自己的数据，调整一下参数，再训练一遍，这就是微调。

onion___·2022-12-12 16:00

搭配对比学习，万能的 prompt 还能做可控文本生成

但是，CTRL是对整个语言模型进行Finetuning,PPLM因为需要在生成的过程中迭代更新hiddenactivations，所以推理速度非常慢。随着Prompting技术的大火，

zenRRan·2022-12-09 16:27

TsingHua：FPT: Improving Prompt Tuning Efficiency via Progressive Training

开头是从比较PT（promptlearning和finetuning）开始的。为什么PT的收敛速度慢，训练效率低下？因为PT中中可训练的参数大大减少了吧。微调起来不是很容易。

等景，不如找景·2022-12-07 12:06

机器学习基础（三）

机器学习基础实验报告实验三：一、实验目的学习识别手写数字图像的卷积神经网络：LeNet学习如何使用单块NVIDIAGPU来计算学习迁移学习中的一种常用技术：微调（finetuning）二、实验内容和步骤练习一

平杨猪·2022-12-07 09:50

提示学习概述【入门总结看这个就够了】

为什么需要提示学习PLM+Finetuning形式的缺陷模型在做预训练的时候，采用的任务形式：自回归、自编码，与下游的任务形式存在较大的差别（例如预训练模型训练的mask训练头是无法应用到下游任务上的CLS

Pricelesse·2022-12-04 20:10

bert中的sep_BERT 详解

它的主要模型结构是trasnformer的encoder堆叠而成，它其实是一个2阶段的框架，分别是pretraining，以及在各个具体任务上进行finetuning。pretaining阶段

艾苛尔·2022-11-29 19:03

Fast RCNN论文详解

FastRCNN1.Introduction1.1R-CNNR-CNN存在以下几个问题：Trainingisamulti-stagepipeline：训练分多步，每次训练需要finetuning一个预训练网络

何如千泷·2022-11-27 08:20

BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding

Bert历史意义:1、获取了left-to-right和right-to-left的上下文信息2、nlp领域正式开始pretraining+finetuning的模型训练方式nlp领域(各个下游任务都有自身的模型

BUPT-WT·2022-11-27 02:45

Bert小黑初次尝试1:Bert_finetuning

1.参数定义fromimportlibimportimport_moduleimporttimeimporttorchimportnumpyasnpimporttorch.nnasnnfrompytorch_pretrainedimportBertModel,BertTokenizer#config类classConfig(object):'''配置参数'''def__init__(self,da

小黑无敌·2022-11-27 02:40

（pytorch进阶之路）Masked AutoEncoder论文及实现

文章目录1.导读2.论文地址3.代码实现思路3.1预处理阶段3.2Encoder3.3Decoder3.4finetuning3.5linearprobing3.6evaluation4.代码地址5.如何实现

likeGhee·2022-11-24 22:09

使用huggingface的Transformers预训练自己的bert模型+FineTuning

①将“softmax+交叉熵”推广到多标签分类问题多分类问题引申到多标签分类问题（softmax+交叉熵）作者苏剑林论述了将多分类任务下常用的softmax+CE的方式，推广到多标签任务，意图解决标签不均衡带来的一些问题。②SGM，多标签分类的序列生成模型将序列生成模型，运用到多标签分类任务上，序列生成模型，典型的就是seq2seq模型。③关于transformers库中不同模型的Tokenize

Wisley.Wang·2022-11-24 12:16

torchvision复现maskrcnn遇到的问题以及解决方案汇总

官网原教程tutorials/torchvision_finetuning_instance_segmentation.ipynbatmaster·pytorch/tutorials·GitHub参考链接

老油条666·2022-11-21 14:30

Pytorch-4.1 Fine tuning 模型微调

4.1Finetuning模型微调4.1.1什么是微调针对于某个任务，自己的训练数据不多，那怎么办？

pengege666·2022-11-21 12:25

Attention——Transformer——Bert——FineTuning——Prompt

目录一、Attention机制二、Transformer模型三、Bert模型四、Fine-Tuning微调五、Prompt一、Attention机制1、核心逻辑：从关注全部到关注重点；2.计算attention公式：3.优点：（1）参数少：相比CNN、RNN，模型复杂度小；（2）速度快：解决了RNN不能并行计算的问题；（3）效果好：解决了长距离信息会被弱化的问题；4.实现步骤：第一步：query和

码一码码码·2022-11-21 12:54

pytorch深度学习-微调（fine tuning）

微调（finetuning）首先举一个例子，假设我们想从图像中识别出不同种类的椅子，然后将购买链接推荐给用户。

我是一颗棒棒糖·2022-11-21 12:18

深度学习之finetuning（微调）

在深度学习中，通常会finetuning已有的成熟模型，再基于新数据，修改最后几层神经网络权值，为什么？实践中的数据集质量参差不齐，可以使用训练好的网络来进行提取特征。把训练好的网络当做特征提取器。

专注于计算机视觉的AndyJiang·2022-11-21 12:39

计算机视觉之迁移学习中的微调(fine tuning)

答案是肯定的，就是接下来说的微调(finetuning)，顾名思义就

寅恪光潜·2022-11-21 12:03

[Pytorch系列-49]：卷积神经网络 - 迁移学习的统一处理流程与软件架构 - Pytorch代码实现

文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/121312731目录第1章关于FineTuning

文火冰糖的硅基工坊·2022-11-19 18:08

pretraining+fine tuning

fewshotlearning简单实现方法：在大规模数据做预训练模型，然后在小规模suportset上做finetuning。方法简单准确率高。

人工智能（篮球方向）·2022-11-19 10:42

小样本学习(Few-Shot Learning)（一）

小样本学习(Few-ShotLearning)（二）讲解小样本学习问题的Pretraining+FineTuning解法。

DeepGeGe·2022-11-19 10:31

小样本学习(Few-Shot Learning)（二）

1.前言本文讲解小样本学习问题的Pretraining+FineTuning解法。

DeepGeGe·2022-11-19 10:31

小样本学习(Few-Shot Learning)（三）

1.前言本文使用飞桨（PaddlePaddle）基于paddle.vision.datasets.Flowers数据集实践小样本学习问题的Pretraining+FineTuning解法。

DeepGeGe·2022-11-19 10:31

Few-Shot Learning：Pretraining（预训练） + Fine Tuning

用pretraining(预训练)+FineTuning解决小样本学习。虽然这类方法很简单，但是准确率与最好的方法相当。

李问号·2022-11-19 10:19

YOLOv2&YOLOv3

第二个是使用更高分辨率的输入，以前一般是使用224*224的输入，现在就使用448*448的输入对原模型进行finetuning。

JessssseYule·2022-11-19 03:51

pytorch--模型微调fine-tuning

Finetuning模型微调在前面的介绍卷积神经网络的时候，说到过PyTorch已经为我们训练好了一些经典的网络模型，那么这些预训练好的模型是用来做什么的呢？其实就是为了我们进行微调使用的。

有趣的学习·2022-11-18 07:33

Delta tuning（只抓核心）

现有的常见的参数微调方法：（1）adapatertuning:是在PLM模型的每一层中插入了小的神经网络模块，在finetuning时，只有这一小块的参数需要被微调。

做好当下，一切随缘吧·2022-09-27 07:34

VGG16模型微调fineTuning的猫狗识别

#使用vgg模型的第二种方法：载入vgg模型文件还原模型，让后将这个模型#包含到自己的模型中，构建分类模型重新训练得到一个全新的模型保存文件。#计算量很大CPU不可算出，精度97%。fromkeras.applicationsimportvgg16conv_base=vgg16.VGG16(weights='imagenet',#指定模型初始化的权重检测点include_top=False,#模型

qq576826394·2022-09-20 09:52

rtx3060安装ubuntu21与tensorflow1.15环境

前段时间又在搞mt5的finetuning，就想着搭个方便跑的环境。总而言之，很麻烦，坑很多，有点后悔买30系显卡了。昨晚8点半开搞，本想着12点前搞完，结果硬是搞到凌晨3点多，今天起来整个人都

sin_404·2022-07-23 18:16

三、深度学习基础7（微调、初始化）

预训练与微调(finetuning)深度网络存在问题:（1）网络越深，需要的训练样本数越多。若用监督则需大量标注样本，不然小规模样本容易造成过拟合。

满满myno·2022-04-28 07:07

推荐频道

FineTuning

【AIGC】16、Vision-Language 模型在视觉任务中的调研

大模型微调开源项目整理||干货

ssbuild大佬的chatglm_finetuning项目---data_utils.py代码解读

大模型LLM-微调经验分享&总结

【Huggingface系列学习】Finetuning一个预训练模型

tensorflow实践—微调AlexNet

GPT 探索

TensorFlow 同时导入多个预训练模型进行 finetuning

论文《Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning》学习笔记

【NLP】Prompt-Tuning这么好用？

Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning

【Pytorch项目实战】之迁移学习：特征提取、微调、特征提取+微调、雾霾清除

AdaPrompt: Adaptive Prompt-based Finetuning for Relation Extraction

【YOLO】预训练，微调

Mask R-CNN的PyTorch实现（医学图像上的应用）

【YOLO】之理解预训练和微调

nlp正样本太多_【GPT-3论文翻译】语言模型是小样本学习者(Few-Shot Learners)（施工中）...

R-CNN论文解读

Meta Learning

[nlp] Bert 冻结参数，打开训练emb

MiniLM V2 深度自注意力蒸馏: Multi-Head Self-Attention Relation Distillation for Compressing Pretrain

PyTorch提高（一）Fine-tuning

搭配对比学习，万能的 prompt 还能做可控文本生成

TsingHua：FPT: Improving Prompt Tuning Efficiency via Progressive Training

机器学习基础（三）

提示学习概述【入门总结看这个就够了】

bert中的sep_BERT 详解

Fast RCNN论文详解

BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding

Bert小黑初次尝试1:Bert_finetuning

（pytorch进阶之路）Masked AutoEncoder论文及实现

使用huggingface的Transformers预训练自己的bert模型+FineTuning

torchvision复现maskrcnn遇到的问题以及解决方案汇总

Pytorch-4.1 Fine tuning 模型微调

Attention——Transformer——Bert——FineTuning——Prompt

pytorch深度学习-微调（fine tuning）

深度学习之finetuning（微调）

计算机视觉之迁移学习中的微调(fine tuning)

[Pytorch系列-49]：卷积神经网络 - 迁移学习的统一处理流程与软件架构 - Pytorch代码实现

pretraining+fine tuning

小样本学习(Few-Shot Learning)（一）

小样本学习(Few-Shot Learning)（二）

小样本学习(Few-Shot Learning)（三）

Few-Shot Learning：Pretraining（预训练） + Fine Tuning

YOLOv2&YOLOv3

pytorch--模型微调fine-tuning

Delta tuning（只抓核心）

VGG16模型微调fineTuning的猫狗识别

rtx3060安装ubuntu21与tensorflow1.15环境

三、深度学习基础7（微调、初始化）