Finetune

【PaddleSpeech-学习笔记】第二章：声音分类

Paddleaudio视觉图谱反映数字音频信号paddlespeech库中的函数功能音频特征提取（重要）离散傅里叶变换(DFT)LogFBank声音分类方法传统机器学习方法深度学习方法预训练+微调（Pretrain+Finetune
zhangdroid·2022-11-19 15:13

BERT模型—7.BERT模型在句子分类任务上的微调（对抗训练）

文章目录引言二、项目环境配置二、数据集介绍三、代码介绍四、测试1.代码执行流程数据代码见：https://gitee.com/lj857335332/bert_finetune_cls_adversarial_training
哎呦-_-不错·2022-11-19 06:06

BERT模型—4.BERT模型在关系分类任务上的微调

文章目录引言一、项目环境配置二、数据集介绍三、代码介绍1.Focalloss损失函数四、测试结果1.代码运行程序2.代码预测程序数据代码见：https://gitee.com/lj857335332/bert_finetune_re
哎呦-_-不错·2022-11-19 06:05

BERT模型—5.BERT模型在句子分类任务(意图识别)上的微调

文章目录引言一、项目环境配置二、数据集介绍三、代码介绍四、测试结果1.代码执行流程2.预测流程数据代码见：https://gitee.com/lj857335332/bert_finetune_cls引言
哎呦-_-不错·2022-11-19 06:05

预训练模型参数量越来越大？这里有你需要的BERT推理加速技术指南

如今pretrainedmodel+Finetune几乎已经成为NLPmodeling工作的标准范式。
PaperWeekly·2022-11-16 09:59

seed+transformer+finetune+图文融合+VLP+Prompt Learning整合

1.Seed在神经网络中，参数默认是进行随机初始化的。不同的初始化参数往往会导致不同的结果，如果不设置的话每次训练时的初始化都是随机的，导致结果不确定。当得到比较好的结果时我们通常希望这个结果是可以复现的，如果设置初始化，则每次初始化都是固定的，在pytorch中，通过设置随机数种子也可以达到这么目的。#固定随机种子args.seed=SEED(SEED之前已经设置初值，如31)在设置随机数种子时
两面包+芝士·2022-11-14 09:50

知识蒸馏(Knowledge Distillation)实例教程

实验介绍首先分别测试了resnet18和resnet50的在cifar10上的精度结果，预训练权重为torchvision中的resnet18和resnet50的权重，修改最后的fc层，在cifar10数据集上进行finetune
leo0308·2022-11-11 07:46

SKEP Senta代码 finetune训练步骤 记录

代码追踪1、从finetune训练的脚本文件：./script/run_train.py2、在准备参数及指定log目录后，执行训练文件：.
404NT_FOUND·2022-11-07 23:02

使用transformer bert模型进行Twitter数据多维度情感分类

考虑到快速开箱即用的需求，模型尽量不要太复杂，预训练模型直接跑，看下结果如何再考虑下游finetune当然是不二之选。
认识你很高兴！·2022-11-05 09:26

微调（linear probing和 full finetune）技巧

应用场景：图像分类（使用CIFAR10作为测试数据集，ResNet18作为Backbone网络）数据预处理（resize_val=224,n_holes=1,length在原有的size=32时候为16）#ImagePreprocessingnormalize=transforms.Normalize(mean=[x/255.0forxin[125.3,123.0,113.9]],std=[x/2
Black_And_Black·2022-11-01 03:05

YOLOV5超参数设置与数据增强解析

YOLOv5的超参文件见data/hyp.finetune.yaml（适用VOC数据集）或者hyo.sc
qq_41627642·2022-10-08 17:39

Bert在fine-tune训练时的技巧：①冻结部分层参数、②weight-decay (L2正则化)、③warmup_proportion、④

但bert可调参数很多，一些技巧也很多，比如加上weight-decay,layer初始化、冻结参数、只优化部分层参数等等，方法太多了，每次都会纠结该怎么样去finetune，才能让bert训练的又快又好呢
u013250861·2022-10-07 12:51

微调+代码实现+Q&A

pretrained_net=torchvision.models.resnet18(pretrained=True)pretrained_net.fc#构建一个全新的网络模型resnet18改变全连接层finetune_net
小白抗小枪·2022-10-02 07:58

EasyCV带你复现更好更快的自监督算法-FastConvMAE

FastConvMAE工作在EasyCV框架内首次对外开源，本文将重点介绍ConvMAE和FastConvMAE的主要工作，以及对应的代码实现，最后提供详细的教程示例如何进行FastConvMAE的预训练和下游任务的finetune
·2022-09-30 18:26

清华刘知远：大模型「十问」，寻找新范式下的研究方向

具体而言，预训练到Finetune的新范式最本质的特点是统一框架以及统一模型。首先，更加统一的架构，在预训练出现之前，CNN、RNN、Gate、Attention等在内的算法框架层出不穷。
Datawhale·2022-09-27 07:03

bert 源码解读（基于gluonnlp finetune-classifier）

文章目录Bert论文概述Bert模型结构总体结构attention结构finetuneclassifier结构Bert模型源码解析preprocess_datatokenizedataresultBERTembeddingencoderBaseTransformerEncoderattentionpositionwise_ffn与transformer简单比较Bert论文概述bert是Pre-tr
sinat_34022298·2022-09-02 10:06

基于预训练模型 ERNIE-Gram 实现语义匹配-模型搭建

本章继续分析该案例的模型搭建部分自从2018年10月以来，NLP个领域的任务都通过Pretrain+Finetune的模式相比传统DNN方法在效果上取得了显著的提升，本节我们以百度开源的预训练模型ERNIE-Gram
lovealgorithm.·2022-09-02 07:34

计算机视觉+深度学习面试笔试题整理

如果训练集和测试集的分布很不相同，那么在训练集上训练好的模型，在测试集上应该不奏效（比如用ImageNet训练的分类网络去在灰度医学图像上finetune再测试，效果应该不好）。
fpga和matlab·2022-08-26 17:08

python PaddleSpeech实现婴儿啼哭识别

的婴儿啼哭识别1.项目背景2.数据说明：二、PaddleSpeech环境准备三、数据预处理1.数据解压缩2.查看声音文件3.音频文件长度处理3.自定义数据集四、模型训练1.选取预训练模型2.构建分类模型3.finetune
·2022-08-26 11:04

EasyNLP 集成 K-BERT 算法，借助知识图谱实现更优 Finetune

导读知识图谱（KnowledgeGraph）的概念⾸次出现2012年，由Google提出，它作为⼀种⼤规模语义⽹络，准确地描述了实体以及实体之间的关系。知识图谱最早应⽤于搜索引擎，⽤于准备返回⽤户所需的知识。随着预训练语⾔模型的不断发展，将知识图谱中的知识三元组融⼊预训练模型，对提升模型的效果有重要的作⽤。经典的知识注⼊算法直接将知识图谱中实体的词嵌⼊向量注⼊预训练模型的词嵌⼊向量中；然⽽，知识图
阿里云云栖号·2022-08-18 17:38

EasyNLP集成K-BERT算法，借助知识图谱实现更优Finetune导读

作者：汪诚愚张涛林黄俊导读知识图谱（KnowledgeGraph）的概念⾸次出现2012年，由Google提出，它作为⼀种⼤规模语义⽹络，准确地描述了实体以及实体之间的关系。知识图谱最早应⽤于搜索引擎，⽤于准备返回⽤户所需的知识。随着预训练语⾔模型的不断发展，将知识图谱中的知识三元组融⼊预训练模型，对提升模型的效果有重要的作⽤。经典的知识注⼊算法直接将知识图谱中实体的词嵌⼊向量注⼊预训练模型的词嵌
阿里云大数据AI技术·2022-08-18 13:44

EasyNLP集成K-BERT算法，借助知识图谱实现更优Finetune

导读知识图谱（KnowledgeGraph）的概念⾸次出现2012年，由Google提出，它作为⼀种⼤规模语义⽹络，准确地描述了实体以及实体之间的关系。知识图谱最早应⽤于搜索引擎，⽤于准备返回⽤户所需的知识。随着预训练语⾔模型的不断发展，将知识图谱中的知识三元组融⼊预训练模型，对提升模型的效果有重要的作⽤。经典的知识注⼊算法直接将知识图谱中实体的词嵌⼊向量注⼊预训练模型的词嵌⼊向量中；然⽽，知识图
·2022-08-17 14:05

EasyNLP集成K-BERT算法，借助知识图谱实现更优Finetune

作者：汪诚愚张涛林黄俊导读知识图谱（KnowledgeGraph）的概念⾸次出现2012年，由Google提出，它作为⼀种⼤规模语义⽹络，准确地描述了实体以及实体之间的关系。知识图谱最早应⽤于搜索引擎，⽤于准备返回⽤户所需的知识。随着预训练语⾔模型的不断发展，将知识图谱中的知识三元组融⼊预训练模型，对提升模型的效果有重要的作⽤。经典的知识注⼊算法直接将知识图谱中实体的词嵌⼊向量注⼊预训练模型的词嵌
·2022-08-15 10:23

faster RCNN学习笔记

关键点1.解决SS模型的瓶颈2.如何将模型做到端到端3.滑窗分类的改进4.fasterRCNN的前向计算和反向传播过程重点思路1.finetune的思路：要想把某个算法融合到CNN网络里面，只需要先设计一个前向计算过程模拟这个算法
多笑一笑啊·2022-07-10 07:10

PyTorch 1000问

总结在实际工作中遇到的关于PyTorch框架的一些API以及框架疑问，供未来查表文章目录1.resume与finetune的区别？
猴猴猪猪·2022-07-06 10:38

谷歌&HuggingFace| 零样本能力最强的语言模型结构

但有一件事让人非常疑惑：19年T5通过“调参”发现，设计预训练模型时，Encoder-Decoder的模型结构+MLM任务，在下游任务finetune效果是最好的。
夕小瑶·2022-06-27 23:04

详述BERT fine-tune 中文分类实战及预测

bert的finetune主要存在两类应用场景：分类和阅读理解。
子春-寒·2022-06-26 07:20

迁移学习技巧以及如何更好的finetune 模型

最近在finetunemodel的时候遇到了点问题，开贴记录一下。也算填自己踩过的坑。文章参考翻译自cs231n其实我们常用的直接finetunepre-trainedmodel就属于迁移学习（TransferLearning）的一种。因为我们很少在训练一个新任务时从零开始训练，一个是由于训练时间限制，另一个时训练样本过大存储空间也不一定允许，如ImageNet数据经济120万张图片，1000个类
code_Rocker·2022-06-26 07:54

NoisyTune: A Little Noise Can Help You Finetune Pretrained Language Models Better论文研读

今天也要加油呀！o(*￣▽￣*)ブ目录一、摘要二、模型三、实验一、摘要有效地微调预训练语言模型（PLMs）对于其在下游任务中的成功至关重要。然而，PLMs可能存在过度拟合训练前任务和数据的风险，这些任务和数据通常与目标下游任务存在差距。现有PLMs微调的方法可能难以克服这种差距，并导致性能不佳。在《NoisyTune》一文中，提出了一种非常简单但有效的方法NoisyTune，通过微调PLMs参数之
冲冲冲鸭鸭鸭~·2022-06-26 07:20

TypeError: forward() got an unexpected keyword argument ‘label‘

在调用bert模型是遇到如下报错信息:Traceback(mostrecentcalllast):File"D:/program/PyChramWorkspace/CS224N/finetune/TestSA.py
嘿 是我·2022-06-18 07:26

机器学习——深度神经网络实践（FCN、CNN、BP）

深度神经网络算法的应用1.人脸识别1.1数据导入1.2模型搭建与使用1.3结果与分析2.手写体识别2.1基于BP神经网络的手写数字识别代码2.2结果与分析3.图像分类3.1模型构建过程与结果3.2初次预训练分类3.3Finetune
@李忆如·2022-06-16 07:19

YOLOv5s 剪枝

YOLOv5s剪枝yolov5_prune环境配置剪枝步骤基础训练稀疏训练通道剪枝微调finetune剪枝后模型推理yolov5_pruneyolov5_prune源码地址：https://github.com
Lee_Alpha·2022-06-09 07:17

pytorch 加载使用预训练模型和 fine tune 模型微调(冻结一部分层)实战

这两天在学习pytorch的加载预训练模型和finetune为了方便以后查看，特写成博客。
平夕1009·2022-05-07 07:12

迁移学习花式Finetune方法大汇总

其中，Pretrain-Finetune（预训练+精调）模式是最为常见的一种迁移学习方法。例如NLP中的预训练Bert模型，通过在下游任务上Finetune即可取得比直接使
fareise·2022-03-23 21:44

Learning without Forgetting 详解（LwF）

和传统的Finetune比起来，LwF使用了teachermodel输出的softensoftmax对新任务中的样本进行约束。
gbyy42299·2022-03-15 07:34

基于pytorch的模型压缩和模型剪枝Model Prune示例

2，可指定剪枝率进行定向剪枝，并输出剪枝后参数统计和finetune。3，支持MLP,Lenet,Alexnet,VGG,GoogleNet系列,Resnet系列，MobileNet系列的剪枝。
踟蹰横渡口,彳亍上滩舟。·2022-03-07 07:34

【pytorch】冻结网络参数训练

假设我们想finetune一个网络，仅仅去训练conv8,prelu8,conv9,prelu9,conv10。在Pytorch中，一般是设置该variable的require_grad为False。
Shwan_Ma·2022-03-04 07:52

pytorch冻结BN和一些moudel

pytorch知识点--[pytorch]——基本使用：(3)finetune冻结层操作+学习率超参数设Pytorch中的BatchNormalizationlayer踩坑https://blog.csdn.net
知识在于分享·2022-03-04 07:04

pytorch实现人脸识别_深度挖坑6：关于人脸识别新数据finetune中的一个小trick

人脸识别实际训练模型中，随着新数据的逐渐增加，对新的数据进行finetune是必不可少的一步，在实际的finetune过程中，有可能出现神经网络对新出现的数据不敏感的情况（称之为训不动）。
weixin_39989941·2022-02-28 15:36

基于YOLOv5的视频流检测

在YOLOv5的基础之上做finetune，用适合视频流大小尺寸的图像训练10个epoc1.用cv2自带的VideoCapture读取摄像头信息importcv2cap=cv2.VideoCapture
CV小·2022-02-24 07:44

VideoGAN

Foreground/Mask/BackgroundlocalnetlocalnetDlocalmask_netlocalmotion_netlocalstatic_netlocalpenalty_netifopt.finetune
杨逸凡·2022-02-13 02:53

2021科大讯飞 非标准化疾病诉求的简单分诊挑战赛前三名队伍分享

文章目录1.第一名:白[MASK]1.1团队介绍1.1.1成员介绍1.1.2获奖经历1.2算法方案解析1.2.1赛题描述1.2.2评价指标1.2.3数据分析1.3算法模型1.3.1模型架构1.3.2Finetune1.4
herosunly·2021-11-24 16:11

博观约取系列 ～ 探测Bert Finetune对向量空间的影响

熟悉NLP的同学对BertFinetune一定不陌生，基本啥任务上来都可以BertFinetune试一把。可是模型微调一定比直接使用预训练模型效果好么？微调究竟对Bert的向量空间产生了哪些影响嘞？考虑到Bert的高维向量无法直接观测，下面这篇paper中，作者结合文本分类任务，和DirectProb这两种探测任务，直观展现了模型微调对Bert向量空间的影响Paper:ACloserLookatH
风雨中的小七·2021-09-04 11:00

2021年全球人工智能技术创新大赛 小布助手对话短文本语义匹配优秀队伍分享

文章目录1.赛题背景2.赛题数据介绍和评测标准3.整体方案设计4.子模块与创新点4.1未登陆词优化4.2MLM预训练优化4.2.1Mask策略4.2.2对抗训练4.2.3参数设置4.3K-fold分类模型finetune4.4
herosunly·2021-06-08 17:52

基于Python的图像分类-Finetune训练模型

迁移训练-使用finetune一、简介本任务为，将此前我们找到的准确率最高的预训练网络模型，改造为可以从上万张图片中，帮我们筛选为五分类的中草药模型。
神迹小卒·2021-05-26 21:57

AI界最危险武器GPT-2使用指南：从Finetune到部署

image大数据文摘授权转载自安迪的写作间作者：Andy今早一起床就看到FrançoisChollet大神（Keras作者）发推，根据GPT-2中量模型的超长距离记忆想到了一种简单的不基于机器学习的文本生成方式，居然神奇地复现了GPT-2的结果，方法很简单（只用了20分钟写代码），每次用要基于文本中的关键词，还有句末几个词，在谷歌直接搜索，然后将获取检索片段基于最后几个词连接起来，只要这样不停做甚
大数据文摘·2021-05-15 08:05

目标检测算法的发展总结

DSOS(DeeplySupervisedObjectDetector)FineTune和直接训练检测模型的差异可以减小YOLOYOLOv1输入尺寸固定，占比较小的目标检测效果不好YOLOv2改进1.Bat
虎牙Tiger·2021-05-12 10:08

从5大挑战带你了解多模态机器学习

本文分享自华为云社区《多模态学习综述》，原文作者：Finetune小能手。前言一种模态指事物发生或体验的方式，关于多模态研究的问题就是指包含多种模态。
华为云·2021-05-08 11:31

深度学习移动端在线训练 --- 基于MNN的端侧Finetune实现

在决定使用MNN实现在线训练之前，也比较了TNN/NCNN，发现目前各大端侧推理引擎的训练框架都不成熟，半斤八两的状态，可能都把精力放在推理和op支持上，但是端侧训练的需求真的少么？fine-tune在端侧应用难道不是刚需？端侧推理的实现相对简单，MNN官方已有完善的文档参考。这篇主要介绍基于MNN的深度学习端侧在线训练，以预编译动态库的方式引用MNN训练框架，并实现在Android端基于预训练模
Ctrlturtle·2021-04-15 17:36

yolov5启用数据增强、tensorboard可视化及cutout马赛克增强

yolov5启用数据增强与tensorboard可视化一，yolov5启用数据增强1.data目录下，有两个hyp的文件：data/hyp.scratch.yaml和data/hyp.finetune.yaml
小俊俊的博客·2021-03-12 09:29
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他