tuning

Bert简介

主要预训练任务2.1.1.完形填空2.1.2.预测下一个句子2.2预训练2.2.1.输入表示2.2.2.MLM（MaskLanguageModel）2.2.3.NSP2.2.4.总体架构2.3.Fine-tuning1
长命百岁️·2022-10-30 03:18

PyTorch 预训练模型，保存，读取和更新模型参数以及多 GPU 训练模型

本文用于记录如何进行PyTorch所提供的预训练模型应如何加载，所训练模型的参数应如何保存与读取，如何冻结模型部分参数以方便进行fine-tuning以及如何利用多GPU训练模型。
机器学习社区·2022-10-29 13:21

pytorch 获取模型参数_[日常] PyTorch 预训练模型，保存，读取和更新模型参数以及多 GPU 训练模型...

本文用于记录如何进行PyTorch所提供的预训练模型应如何加载，所训练模型的参数应如何保存与读取，如何冻结模型部分参数以方便进行fine-tuning以及如何利用多GPU训练模型。
weixin_39610759·2022-10-29 13:21

目标检测论文、代码、数据集汇总

文章目录Introduction2022SLICINGAIDEDHYPERINFERENCEANDFINE-TUNINGFORSMALLOBJECTDETECTIONYOLOv7:Trainablebag-of-freebiessetsnewstate-of-the-artforreal-timeobjectdetectorsIntroduction
点PY·2022-10-24 17:05

Frustratingly Simple Few-Shot Object Detection (2020 ICML)

很多论文用过这个方法)改进了评估方法，不仅考虑novelclass检测的准确率，而且考虑对于baseclass知识的保留3.Motivation已有的工作表明meta-learning是一种有效的方法，但fine-tuning
TEn%·2022-10-23 07:51

论文阅读——Frustratingly Simple Few-Shot Object Detection

FrustratinglySimpleFew-ShotObjectDetection1.Motivation2.Contribution3.Method3.1Setup3.2Two-stagefine-tuningapproach3.3Meta-learningbasedapproaches4
猫猫头不写bug·2022-10-23 07:50

Camera项目刚开始的自检清单

目录Tuning基础环境:预览测试:拍照测试:录像测试:RAW:OTP:Lens:Sensordrive:AF:AE:闪光灯:3AExif/dump/log:Tuning基础环境:a.Golden模组：
青春～飞鸟·2022-10-20 22:14

【论文阅读】Finetuned Language Models Are Zero-Shot Learners

文章目录前言AbstractIntroductionFLAN:InstructionTuningImprovesZero-shotLearningConclusion前言文章目前还在持续阅读目前碰到了一些不太理解的概念
长命百岁️·2022-10-03 07:52

开会总结【1】ADL129

报告讲者记录如下，涉及主题主要包括：自然语言处理的模型发展介绍（崔一鸣），一个微调工具（DeltaTuning），promptlearning（刘鹏飞），自
Doris404·2022-09-27 07:39

Delta tuning（只抓核心）

现有的常见的参数微调方法：（1）adapatertuning:是在PLM模型的每一层中插入了小的神经网络模块，在finetuning时，只有这一小块的参数需要被微调。
做好当下，一切随缘吧·2022-09-27 07:34

大模型系统和应用——Prompt-learning & Delta Tuning

观看地址：https://www.bilibili.com/video/BV1UG411p7zv目录：自然语言处理&大模型基础神经网络基础Transformer&PLMPromptTuning&DeltaTuning
愤怒的可乐·2022-09-27 07:02

VGG16模型微调fineTuning的猫狗识别

#使用vgg模型的第二种方法：载入vgg模型文件还原模型，让后将这个模型#包含到自己的模型中，构建分类模型重新训练得到一个全新的模型保存文件。#计算量很大CPU不可算出，精度97%。fromkeras.applicationsimportvgg16conv_base=vgg16.VGG16(weights='imagenet',#指定模型初始化的权重检测点include_top=False,#模型
qq576826394·2022-09-20 09:52

Keras 利用vgg16进行猫狗识别

前面我们介绍了基于Tensorflow使用vgg16fine-tuning实现了猫狗大战https://blog.csdn.net/nvidiacuda/article/details/83413837
luckyboy101·2022-09-20 09:51

【目标检测】R-CNN系列与SPP-Net总结

【目标检测】R-CNN系列与SPP-Net总结目录1.前言2.R-CNN2.0论文链接2.1概述2.2pre-training2.3不同阶段正负样本的IOU阈值2.4关于fine-tuning2.5对文章的一些思考
急流勇进·2022-09-19 11:56

保姆级高通AEC9调试指南（看完可解决80%AE相关问题）

InitialTuning默认ISO100相当于1倍gain,有的2倍，可自行设置。
Vinegar �·2022-09-15 07:45

马士兵 jvm调优

GC和GCTuning作者：马士兵教育http://mashibing.comGC的基础知识1.什么是垃圾C语言申请内存：mallocfreeC++：newdeletec/C++手动回收内存Java:new
byteyoung·2022-09-12 10:05

迁移学习与fine-tuning

迁移学习与fine-tuning文章目录迁移学习与fine-tuning前言一、迁移学习是什么？二、Fine-tuning是什么?三、总结前言一、迁移学习是什么？
AI视觉Daily·2022-09-06 07:17

【深度学习前沿应用】图像分类Fine-Tuning

【深度学习前沿应用】图像分类Fine-Tuning作者简介：在校大学生一枚，华为云享专家，阿里云星级博主，腾云先锋（TDP）成员，云曦智划项目总负责人，全国高等学校计算机教学与产业实践资源建设专家委员会
ぃ灵彧が·2022-09-06 07:37

大模型系统和应用——自然语言处理&大模型基础

观看地址：https://www.bilibili.com/video/BV1UG411p7zv目录：自然语言处理&大模型基础神经网络基础Transformer&PLMPromptTuning&DeltaTuning
愤怒的可乐·2022-09-05 07:18

大模型系统和应用——Transformer&预训练语言模型

观看地址：https://www.bilibili.com/video/BV1UG411p7zv目录：自然语言处理&大模型基础神经网络基础Transformer&PLMPromptTuning&DeltaTuning
愤怒的可乐·2022-09-05 07:18

Keras实现——预训练卷积神经网络（VGG16）

使用预训练网络有两种方法：特征提取（featureextraction）和微调模型（fine-tuning）。
泡泡怡·2022-09-03 16:34

机器学习笔记_李宏毅_P5-P7_Gradient Descent

李宏毅老师的机器学习笔记GradientDescentGradientDescent的三个tips方法一：Tuningyourlearningrates方法二：StochasticGradientDescent
CZYruobing·2022-08-25 07:10

Recurrent Dynamic Embedding for Video Object Segmentation

可以简单概括一下半监督vos的几种主流方法：Onlinefine-tuningbasedmethods顾名思义，先学习一个通用的分割特征，然后在测试
Transform ai·2022-08-23 07:52

Tensorflow fine-tunning AlexNet

包括Tensorflow下的AlexNet网络模型搭建、测试、使用自己的数据做fine-tunning、批量测试训练结果主要参考文章《FinetuningAlexNetwithTensorFlow》，文章
zizi7·2022-08-18 07:37

2、什么是Fine-tuning？

常见的做法是使用预训练的网络（例如在ImageNet上训练的分类1000类的网络）来重新fine-tuning（也叫微调），或者当做特征提取器。以下是常见的两类迁移学习场景：1卷积网络当做特征提取器。
举一个栗子吖·2022-08-18 07:59

什么是 fine-turning？

fine-tuning就是使用已用于其他目标、预训练好模型的权重或者部分权重，作为初始值开始训练。那为什么我们不用随机选取选几个数作为权重初始值？
醒途·2022-08-18 07:55

BERT Fine-tuning数学原理解析

一、BERT微调(Fine-tuning)介绍从传统机器学习(TraditionalML)和迁移学习(TransferLearning)对比看，传统的方式是一种相对隔离的，单个任务的学习，知识无法保留或者积累
m0_49380401·2022-08-18 07:23

BERT详解(4)---fine-tuning

目录Bert详解(1)—从WE、ELMO、GPT到BERTBERT详解(2)—源码讲解[生成预训练数据]BERT详解(3)—源码解读[预训练模型]BERT详解(4)—fine-tuningBERT(5)
orangerfun·2022-08-18 07:23

迁移学习 & 凯明初始化

①featureextraction②trainamodelonarelatetaskandreuseit③fine-tuningfromapertrainedmodelfine-tuning(1)为什么使用
weixin_50862344·2022-08-15 16:59

NAACL2022中Prompt相关论文分类

目录1、信息抽取2、PromptMethod3、文本生成4、原理5、知识发现6、少样本7、Biases1、信息抽取[1]Template-freePromptTuningforFew-shotNER[2
hithithithithit·2022-08-14 11:20

NAACL 2022 | DOP-Tuning: 面向对话摘要领域自适应的轻量级微调方法

论文标题：Domain-OrientedPrefix-Tuning:TowardsEfficientandGeneralizableFine-tuningforZero-ShotDialogueSummarization
PaperWeekly·2022-08-14 11:16

NAACL 2022 | FACTPEGASUS：抽象摘要的真实性感知预训练和微调

©作者|董冠霆单位|北京邮电大学研究方向|自然语言理解论文标题：FactPEGASUS:Factuality-AwarePre-trainingandFine-tuningforAbstractiveSummarization
PaperWeekly·2022-08-14 11:16

机器学习 4 个常用超参数调试方法！

介绍维基百科上说，“Hyperparameteroptimization或tuning是为学习算法选择一组最优的hyperparameters的问题”。
Sim1480·2022-08-10 07:41

【IJCAI 2022】参数高效的大模型稀疏训练方法，大幅减少稀疏训练所需资源

作者：李深、李与超近日，阿里云机器学习PAI关于大模型稀疏训练的论文《Parameter-EfficientSparsityforLargeLanguageModelsFine-Tuning》被人工智能顶会
阿里云大数据AI技术·2022-07-27 07:52

【IJCAI 2022】参数高效的大模型稀疏训练方法，大幅减少稀疏训练所需资源

近日，阿里云机器学习PAI关于大模型稀疏训练的论文《Parameter-EfficientSparsityforLargeLanguageModelsFine-Tuning》被人工智能顶会IJCAI2022
·2022-07-25 10:44

rtx3060安装ubuntu21与tensorflow1.15环境

前段时间又在搞mt5的finetuning，就想着搭个方便跑的环境。总而言之，很麻烦，坑很多，有点后悔买30系显卡了。昨晚8点半开搞，本想着12点前搞完，结果硬是搞到凌晨3点多，今天起来整个人都
sin_404·2022-07-23 18:16

机器学习四种调参方法总结

介绍维基百科上说，“Hyperparameteroptimization或tuning是为学习算法选择一组最优的hyperparameters的问题”。
m0_61899108·2022-07-16 07:52

利用pyspark 实现协同过滤算法

pysparkcondainstallpysparkfrompysparkimportSparkConffrompyspark.ml.evaluationimportRegressionEvaluatorfrompyspark.ml.recommendationimportALSfrompyspark.ml.tuningi
weixin_jumery·2022-07-14 07:10

机器学习笔记（一）绪论、模型评估与选择

归纳偏好第二章模型评估与选择0️⃣经验误差与过拟合1️⃣评估方法✏️留出法/hold-out✏️交叉验证法/crossvalidation✏️自助法/bootstrapping✏️调参/parametertuning
LabulaH·2022-07-14 07:41

MoCo v1原理解析

首先需要明确的是无监督模型的正确使用姿势，即先在较大的、难以很好标注的数据集上利用无监督训练得到一个pre-trained模型，再根据下游具体的任务，在较小的、可以很好标注的数据集上，进行有监督的fine-tuning
PyBigStar·2022-07-12 07:06

NLP 前置知识3 —— 预训练模型

一.Pre-training&Fine-tuning机制1.定义Pre-training:在大规模数据集上学习尽可能好的通用表示Fine-tuning:利用学习好的通用表示初始化下游任务网络加速收敛减少任务相关监督数据的需求二
温酒ss·2022-07-09 07:14

GPPT阅读笔记

GPPT:GraphPre-trainingandPromptTuningtoGeneralizeGraphNeuralNetworksMotivationContributionPre-train:LinkPredictionDownstream
StarfishCu·2022-07-08 07:20

Transformer课程第39章：面向Knowledge-intensive任务的Transformer模型RAG的架构及完整源码实现

2，pretraineddenseretrieval数学原理分析3，sequence-to-sequencemodel数学原理分析4，jointlyfine-tuning数学原理分析5，parametricmemory
StarSpaceNLP667·2022-07-05 07:03

面向个性化需求的在线云数据库混合调优系统 | SIGMOD 2022入选论文解读

近日，腾讯云数据库团队的最新研究成果入选SIGMOD2022ResearchFullPaper（研究类长文），入选论文题目为“HUNTER:AnOnlineCloudDatabaseHybridTuningSystemforPersonalizedRequirements
·2022-07-04 09:19

ML&DL：《Hyperparameter tuning for machine learning models机器学习模型的超参数调优》翻译与解读

ML&DL：《Hyperparametertuningformachinelearningmodels机器学习模型的超参数调优》翻译与解读目录《Hyperparametertuningformachinelearningmodels
一个处女座的程序猿·2022-07-01 07:30

模型压缩-浅尝

《LST:LadderSide-TuningforParameterandMemoryEfficientTransferLearning》——“过墙梯”https://spaces.ac.cn/archives
追光女孩儿·2022-06-27 23:47

CLIP-Adapter: Better Vision-Language Models with Feature Adapters

对比语言图像预训练(CLIP)虽然prompt-tuning用于textualinputs，但是建议CLIPAdapter在视觉或语言分支上使用功能适配器进行fine-tuneCLIPAdapter采用了一个额外的瓶颈层来学习新的特征
Tsukinousag1·2022-06-26 07:37

小样本如何更好的在BERT上fine-tune

小样本如何更好的在BERT上fine-tuneRevisitingFew-sampleBERTFine-tuning阅读笔记，论文地址：https://arxiv.org/abs/2006.059871
带着小板凳学习·2022-06-26 07:23

transformer-Autoencoding Language Models数学原理及模型架构解析

1，Auto-encodingLanguageModels通用数学原理详解2，为何要放弃采用Feature-Based语言模型ELMo而使用Fine-tuning模型？
普通网友·2022-06-25 07:05

oracle中慢sql优化思路

参考资料：官方文档SQLTuningGuidehttps://docs.oracle.com/en/database/oracle/oracle-database/12.2/tgsql/sql-performance-fundamentals.html
独孤清扬玩DB·2022-06-21 13:25
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他