tuning

基于Huggingface使用BERT进行文本分类的fine-tuning

随着BERT大火之后，很多BERT的变种，这里借用Huggingface工具来简单实现一个文本分类，从而进一步通过Huggingface来认识BERT的工程上的实现方法。1、loaddata train_df=pd.read_csv('../data/train.tsv',delimiter='t',names=['text','label'])print(train_df.shape)train
mamba10·2022-12-24 14:22

【文生图】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation

论文地址：https://arxiv.org/abs/2208.12242v1项目地址：https://dreambooth.github.io/DreamBooth主要的工作目的是实现保留主体的细致特征的情况下使用文本对其进行环境等编辑。整体方法为给定一个主体的3-5个图像和文本提示作为输入，微调预训练的文生图模型（Imagen，但不限于特定模型）用于合成主体在不同场景中的全新照片级图像。该框架
橙子的科研日记·2022-12-24 13:24

NLP-预训练模型-201806-NLG：GPT-1【Decoder of Transformer】【预训练：GPT使用单向语言模型；Fine-tuning：GPT、Task的参数一起训练】

预训练模型(Pretrainedmodel)：一般情况下预训练模型都是大型模型，具备复杂的网络结构，众多的参数量，以及在足够大的数据集下进行训练而产生的模型.在NLP领域，预训练模型往往是语言模型，因为语言模型的训练是无监督的，可以获得大规模语料，同时语言模型又是许多典型NLP任务的基础，如机器翻译，文本生成，阅读理解等，常见的预训练模型有BERT,GPT,roBERTa,transformer-
u013250861·2022-12-23 08:59

【PTM】GPT-2：四只角的独角兽

在有了之前论文的基础后读这篇论文就比较简单了，论文介绍的是OpenAI对GPT的一个改进模型GPT-2，其模型结构与GPT相比几乎没有什么变化，只是让模型变得更大更宽，并且取消了Fine-tuning的步骤
阿泽的学习笔记·2022-12-23 08:27

BERT入门实践: sentence-pair classification（colab +tensorflow2.5）

文章目录概要描述详细说明下载GLUE数据下载bert源码下载并解压chinese_L-12_H-768_A-12.zipFine-Tuning参考文章：一文读懂BERT(实践篇)概要描述根据参考文章1中使用
Sciengineerv·2022-12-21 18:03

【无标题】

首发地址：https://zhuanlan.zhihu.com/p/451144980读了复旦大学发的文章《Template-freePromptTuningforFew-shotNER》，是用小样本思路
远行人_Xu·2022-12-21 05:51

线下活动丨Big Model Meetup 第1期：大模型Prompt Tuning技术，8场学术报告和Poster展示...

「BigModelMeetup」系列活动是由智源研究院悟道团队、青源会、清华大学计算机科学与技术系博硕论坛、中国中文信息学会青年工作委员会共同组织，智源社区提供社区支持，PaperWeekly提供媒体支持。该系列活动旨在建设“大模型”研究和应用的“技术社区”，推动国内大模型技术的交流与发展，打造相关专家学者、爱好者深度的交流分享平台。BMMeetup第一期以大模型微调技术为主题，于2021年10月
智源社区·2022-12-21 05:43

提示学习Prompt介绍

下游任务的目标与预训练的目标差距过大导致提升效果不明显，微调过程中依赖大量的监督语料降低语义差异：预训练任务主要以（MLM）为主，而下游任务则重新引入新的训练参数，因此两个阶段的目标通常有较大差异；避免过拟合：由于再Fine-tuning
帅奇奇的博客·2022-12-20 19:02

【学习】自监督学习2、GPT、PLM

2、pre-trainedlanguagemodels的最近发展pre-trainedlanguagemodels的背景3、解决方法（1）prompttuning（数据高效微调:即时调优）2、few-shotlearning
Raphael9900·2022-12-20 19:00

NLP（十一）：PaddlePaddle

1.框架图2.部署方案3.PaddleHub和PaddleNLPPaddleHub：对现有模型进行fine-tuningPaddleNLP：已经构建完成，可直接使用（情感分类）1）PaddleHub2）
博途慧算·2022-12-20 15:53

论文复现-2代码研读：Black-Box Tuning for Language-Model-as-a-Service

第一步：将作者所给代码跑通。下载代码，放置在本地文件夹。报错问题一：使用huggingface中loaddataset函数报错。显示connecterror。修改如下：将数据集下载文件.py文件在本地，然后从.py文件中加载数据集。解决方式参考：https://blog.csdn.net/weixin_49346755/article/details/125284869#:~:text=load_
QianTu&·2022-12-20 12:01

论文复现-1论文重读：Black-Box Tuning for Language-Model-as-a-Service

论文核心：使用PLM的API进而完成promptlearning，微调完成任务。具体来说，是采用连续prompts拼接在input_text之后，然后，通过derivative-free的框架，完成任务。一、背景（Introduction）大前提：由于商业原因等，大模型的参数是不会公开的。其次，微调一个大模型是比较昂贵的。但是一般大模型会开放API端口，供users使用。这种情形称为：“Langu
QianTu&·2022-12-20 12:31

学习率是什么，怎么调整

学习率的定义：Wikipedia给出LearningRate的定义如下Inmachinelearningandstatistics,thelearningrateisatuningparameterinanoptimizationalgorithmthatdeterminesthestepsizeateachiterationwhilemovingtowardaminimumofalossfunc
青椒炒代码·2022-12-20 11:05

论文阅读笔记（12）--- Bert

BertAbstractIntroductionRelatedWorkBERTModelArchitectureInput/OutputRepresentationsPre-trainingBERTFine-tuningBERTConclusionAbstract
打着灯笼摸黑·2022-12-20 07:35

Pytorch特征提取

pytorchfinetuning自己的图片进行行训练：https://blog.csdn.net/xiexu911/article/details/81227126Pytorch学习笔记（I）——预训练模型
zhangyuexiang123·2022-12-19 18:45

【分布外检测】《Energy-based Out-of-distribution Detection》 NIPS‘20

还提出一个基于能量的正则化项，用来针对性fine-tuning模型。
chad_lee·2022-12-19 15:08

吴恩达深度学习笔记 course2 week3 超参数调试,Batch Norm,和程序框架

1.TuningProcess对超参数的一个调试处理一般而言,在调试超参数的过程中,我们通常将学习率learning_rate看作是最重要的一个超参数,其次是动量梯度下降因子β(一般为0.9),隐藏层单元个数
weixin_30872733·2022-12-19 09:57

吴恩达深度学习笔记7-Course2-Week3【超参数调试、Batch 正则化和程序框架】

超参数调试、Batch正则化和程序框架一、超参数调试（hyperparametertuning）推荐的超参数重要性排序：1、学习率(learningrate):α2、隐藏神经单元(hiddenunits
Wang_Jiankun·2022-12-19 09:53

R-CNN论文解读

博文目录R-CNN概要思路R-CNN流程概述预训练大型分类网络基于特定数据集微调网络训练目标分类器SVMs训练目标回归器R-CNN细节剖析IOU解决类别标注问题fine-tuning与SVM正负样本定义不一样的问题非极大值抑制
enginelong·2022-12-19 08:38

Meta Learning

文章目录一、Few-shotlearning:basicconcepts二、Siamesenetwork1.两两2.tripletloss三、Pretraining+finetuning1.Preliminary
老干妈拌士力架·2022-12-18 07:44

ISP Tuning

ISPTuning1.简介1.1Sensor动态范围2.常用算法2.1BLC2.2AWB(处理色温引起的偏色问题)2.2.1色温（ColorTemperature:温度越低色温越高）2.2.2为什么需要
Arrow·2022-12-16 15:06

python语言是编译执行_加速Python运行的工具

运行的工具应用如果你需要让你的Python程序加速运行，在不同的层次有一些不同的解决方案：重写你的Python代码，通过并行化parallelizing和优化optimizing/替代replacing/调试tuning
weixin_39947522·2022-12-16 15:01

论文译文——BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

文章目录摘要1.简介2.相关工作2.1UnsupervisedFeature-basedApproaches（基于特征的无监督的方法）2.2UnsupervisedFine-tuningApproaches
晴晴_Amanda·2022-12-16 12:19

[nlp] Bert 冻结参数，打开训练emb

之旅对抗训练的理解，以及FGM、PGD和FreeLB的详细介绍__illusion_的博客-CSDN博客_freelb使用huggingface的Transformers预训练自己的bert模型+FineTuning_Wisley.Wang
(∩ᵒ̴̶̷̤⌔ᵒ̴̶̷̤∩)·2022-12-16 10:18

python模型预测控制_模型预测控制

AboutThisworkaimsatimplementingsimpleMPCcontrollerforgym'sMujocomodelsasdescribedinNeuralNetworkDynamicsforModel-BasedDeepReinforcementLearningwithModel-FreeFine-TuningandbuildonitbyaddingLQRbas
weixin_39922749·2022-12-15 08:44

谈谈 AI ISP （4）AI ISP的未来

几个可能的方向提高传统ISP的性能，重点关注Denoise，DPC,Demosaic,LTM，AWB提高ISPtuning的效率。用AI分析评估图像质量。用AI优化参数。
jinre2·2022-12-15 01:14

【自监督论文阅读笔记】Contrastive Learning Rivals Masked Image Modeling in Fine-tuning via Feature Distillation

掩码图像建模(MIM)学习表示具有非常好的微调性能，盖过了以前流行的预训练方法，如图像分类、实例对比学习和图像-文本对齐。在本文中，证明了这些预训练方法的较差微调性能可以通过以特征蒸馏(FD)形式的简单后处理来显著改善。特征蒸馏将旧的表示转换成新的表示，新的表示具有一些期望的属性，就像MIM产生的那些表示一样。这些属性，我们统称为optimizationfriendliness优化友好性，通过一组
YoooooL_·2022-12-14 15:10

MiniLM V2 深度自注意力蒸馏: Multi-Head Self-Attention Relation Distillation for Compressing Pretrain

NeurIPS2020）MINILM-知乎论文个人理解目的与V1一样，本篇paper也是在预训练阶段蒸馏模型（跟任务无关的蒸馏架构），下游任务直接load蒸馏预训练好的student模型，使用任务相关数据finetuning
亦万·2022-12-14 15:39

模型精度再被提升，统一跨任务小样本学习算法 UPT 给出解法！

阿里云机器学习平台PAI与华东师范大学高明教授团队、达摩院机器智能技术NLP团队合作在自然语言处理顶级会议EMNLP2022上发表统一多NLP任务的预训练增强小样本学习算法UPT（UnifiedPromptTuning
阿里云云栖号·2022-12-14 10:53

对YoloV5的backbone进行self-supervised learning以及fine-tuning

文章目录应用场景分离出YoloV5的backbone基于主干网络的自监督训练基于冻结主干梯度的模型预训练模型训练应用场景当你的数据集存在标注数据占比较小，无标注数据占大头的时候，可以考虑下自监督学习来提高主干网络的视觉表征能力，有关自监督学习的论文可以参考这篇博文。分离出YoloV5的backbone将YoloV5的backbone写成一个图像分类网络classYoloBackbone(BaseM
点PY·2022-12-14 05:55

TVM框架调研 — 环境搭建

我是在WSL1-Ubuntu-20.04的系统上搭建的整套开发环境，由于Tuning的过程涉及到主机与Android设备的RPC通信（需要主机与手机连接到同一局域网），建议大家在移动笔记本上搭建开发环境
Kane技术漫谈·2022-12-13 21:59

【(强推)李宏毅2021/2022春机器学习课程】2022-如何有效的使用自监督模型-Data-Efficient &Parameter-Efficient Tuning

文章目录1.self-pretrain是什么2.存在问题3.Data-EfficientFine-tuning：PromptTuning（提示，更有效地利用数据，比如数据量少的情况下）数据量更少4.Data-EfficientFine-tuning
I"ll carry you·2022-12-13 17:10

基于python的四阶龙格库塔求解一阶常微分方程组的问题

//Anhighlightedblockimportnumpyasnp##定义未知量和待定参数amplitude和detuningamplitude=20detuning=20#郎之万方程经典形式defdfun
weixin_39070836·2022-12-13 13:49

模型精度再被提升，统一跨任务小样本学习算法 UPT 给出解法！

阿里云机器学习平台PAI与华东师范大学高明教授团队、达摩院机器智能技术NLP团队合作在自然语言处理顶级会议EMNLP2022上发表统一多NLP任务的预训练增强小样本学习算法UPT（UnifiedPromptTuning
阿里云大数据AI技术·2022-12-13 09:33

【论文理解 AAAI 2021】A search based fine-tuning strategy for few-shot learning

.新类上的微调三、实验结果总结前言这篇文章被AAAI2021录用，于2021年2月挂在arxiv上，在arxiv上面的题目是PartialIsBetterThanAll:RevisitingFine-tuningStrategyforFew-shotLearning
辣椒油li·2022-12-13 06:21

清华刘知远团队提出跨模态预训练Prompt Tuning

关注公众号，发现CV技术之美本文分享论文『CPT:ColorfulPromptTuningforPre-trainedVision-LanguageModels』，由清华刘知远团队提出跨模态预训练PromptTuning
我爱计算机视觉·2022-12-12 19:56

PyTorch提高（一）Fine-tuning

Finetuning模型微调一.什么是微调针对某一个任务，当自己训练数据不多时，我们可以找一个同类的别人训练好的模型，换成自己的数据，调整一下参数，再训练一遍，这就是微调。
onion___·2022-12-12 16:00

Instruction Tuning｜谷歌Quoc V.Le团队提出精调新范式！香过Prompt！

卷友们好，我是rumor。前两天在Arxiv刷到个比较牛的论文题目：FinetunedLanguageModelsAreZero-ShotLearners是不是跟GPT-3有些像：LanguageModelsareFew-ShotLearners以为是蹭热度，就没点进去，结果今天点进去仔细一看，好家伙居然出自QuocV.Le团队：于是我摆正心态，仔细看了之后还是发现不少东西。这个文章提出了一个In
李rumor·2022-12-11 12:48

全新instruction调优，零样本性能超越小样本，谷歌1370亿参数新模型比GPT-3更强...

计算机视觉研究院专栏作者：Edison_G在NLP领域，pretrain-finetune和prompt-tuning技术能够提升GPT-3等大模型在各类任务上的性能，但这类大模型在零样本学习任务中的表现依然不突出
计算机视觉研究院·2022-12-11 12:46

零样本性能超越GPT-3！谷歌提出1370亿参数自回归语言模型

©作者|机器之心编辑部来源|机器之心在NLP领域，pretrain-finetune和prompt-tuning技术能够提升GPT-3等大模型在各类任务上的性能，但这类大模型在零样本学习任务中的表现依然不突出
PaperWeekly·2022-12-11 12:44

Instruction Tuning（FLAN、instructGPT、chatGPT）

首页最近被chatGPT刷屏，但翔二博主左看右看发现很多想法似乎都是一脉相通的，于是连夜从存档中找了一些文章尝试理一理它的理论路线。具身智能综述和应用（EmbodiedAI）多模态中的指令控制同时想到今年在智源人工智能前沿报告（2021-2022年度）中其实就有说道：“未来三年，基于虚拟世界、实时时空环境训练的具身模型会取得较大的发展，如自动驾驶、机器人、游戏中数字人等······未来五到十年，超
上杉翔二·2022-12-11 12:13

Transformers训练和微调：Training and Fine-tuning

Transformers种的模型类旨在兼容Pytorch和Tensorflow2，并且可以无缝地在其中使用。本节，会展示如何使用标准的训练工具从头开始训练或微调一个模型。此外，也会展示如何使用Trainer()类来处理复杂的训练过程。使用PyTorch来微调自定义任务模型在Transformers中，不以TF开头的模型类是Pytorch模型，这意味着你可以使用它们像Pytorch模型一样进行推理和
HMTT·2022-12-10 15:03

算法 KECP 被顶会 EMNLP 收录，极少训练数据就能实现机器阅读理解

近日，阿里云机器学习平台PAI与华东师范大学高明教授团队合作在自然语言处理顶级会议EMNLP2022上发表基于Prompt-Tuning的小样本机器阅读理解算法KECP（KnowledgeEnhancedContrastivePrompt-tuning
阿里云技术·2022-12-10 15:29

关于高通CAMX架构下的AE调试的总结

我于2021年夏开始学习cameratuning，至今大半年的时间了，做了一个8M的前置摄像头的调试。有些简单的调试心得与君分享，随着学习和工作的深入，还会持续更新这篇博文。
阿塔西·2022-12-09 22:33

高通Camera Tuning AE之曝光表的配置

AEC界面中曝光表的设置需要填写以下两个数值的计算，需要在Sensorinfoxml文件中中寻找确认：1.第一行的曝光时间的计算公式为：((minlinecount/(maxfps*framelengthlines))*100000000ns2.Minimumblankingtimeforpreview的计算公式为:(1/(maxfps*framelengthlines))*verticaloff
Camera悟·2022-12-09 22:57

Camera Tuning-高通平台总结

chromatix项目必须包含有效的ADCimage.pngfilcker:交流电照明灯发出的光会一定频率的抖动导致sensor图像出现行方向的水波纹，称之为filcker。目前主要的交流电频率有50HZ和60HZ两种。为了避免出现flicker，要求曝光时间大于base值时必须是base的整数倍。image.pngBlacklevelBlacklevel简单的说就是黑电平，指在dark下pixe
小菜鸟打怪记·2022-12-09 22:26

算法 KECP 被顶会 EMNLP 收录，极少训练数据就能实现机器阅读理解

近日，阿里云机器学习平台PAI与华东师范大学高明教授团队合作在自然语言处理顶级会议EMNLP2022上发表基于Prompt-Tuning的小样本机器阅读理解算法KECP（KnowledgeEnhancedContrastivePrompt-tuning
阿里云云栖号·2022-12-09 21:11

搭配对比学习，万能的 prompt 还能做可控文本生成

但是，CTRL是对整个语言模型进行Finetuning,PPLM因为需要在生成的过程中迭代更新hiddenactivations，所以推理速度非常慢。随着Prompting技术的大火，
zenRRan·2022-12-09 16:27

算法 KECP 被顶会 EMNLP 收录，极少训练数据就能实现机器阅读理解

作者：王嘉宁、汪诚愚、邱明辉、石秋慧、王洪彬、黄俊、高明近日，阿里云机器学习平台PAI与华东师范大学高明教授团队合作在自然语言处理顶级会议EMNLP2022上发表基于Prompt-Tuning的小样本机器阅读理解算法
阿里云大数据AI技术·2022-12-09 09:01

IQ_Tuning_Overview

1、什么是ImageQualityTuning如上是一个成像系统的组成，包含光源（人造光，自然光）、被摄物体、成像的接收系统三大部分。
木 东·2022-12-09 03:29
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他