pre-train

Pre-train 与 Fine-tuning

预训练顾名思义就是指之前被训练好的Model,比如很大很耗时间的model,你又不想从头training一遍。这时候可以直接download别人训练好的model，里面保存的都是每一层的parameter配置情况。(Caffe里对于ImageNet的一个model,我记得是200+M的model大小)。你有了这样的model之后，可以直接拿来做testing,前提是你的output的类别是一样的。
屋顶上的小贝·2022-12-02 16:08

【论文笔记】Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in NLP

摘要Unliketraditionalsupervisedlearning,whichtrainsamodeltotakeinaninputxandpredictanoutputyasP(y|x),prompt-basedlearningisbasedonlanguagemodelsthatmodeltheprobabilityoftextdirectly.Tousethesemodelstope
烫烫烫烫的若愚·2022-12-02 16:07

（转载）pytorch中的pre-train模型

一、pytorch中的pre-train模型卷积神经网络的训练是耗时的，很多场合不可能每次都从随机初始化参数开始训练网络。
从天而降小可爱·2022-12-02 16:07

Pre-train Model

Pre-TrainModel预训练模型的5大类结构Encoder-AE结构输入句中的未被Mask的任意单词两两可见，但是被Mask掉的单词之间都相互独立，互不可见。在预测某个被Mask掉的单词的时候，所有其它被Mask的单词都不起作用，但是句内未被Mask掉的所有单词，都可以参与当前单词的预测。对于语言理解类的NLP任务，AE结构都是效果最好的，但是对于语言生成类的任务，AE结构效果相对很差。也就
刘皮狠·2022-12-02 16:37

pytorch 删改pre-trained model

一、pytorch中的pre-train模型卷积神经网络的训练是耗时的，很多场合不可能每次都从随机初始化参数开始训练网络。
elvindp·2022-12-02 16:37

pytorch中的pre-train函数模型引用及修改（增减网络层，修改某层参数等）

本文链接：https://blog.csdn.net/whut_ldz/article/details/78845947一、pytorch中的pre-train模型卷积神经网络的训练是耗时的，很多场合不可能每次都从随机初始化参数开始训练网络
浩瀚之水_csdn·2022-12-02 16:07

李宏毅2021机器学习笔记（一）

一、监督学习，给定图片人工的告诉机器其类型，训练模型，让机器拥有f（图片）—>类型这一函数二、训练模型之前进行Pre-train，让机器学习如何辨别图片这一基本功，因为人工输入图片类型过于繁琐。
在学习的茶·2022-11-30 19:47

Bert原理详解

模型的主要创新点都在pre-train方法上，即用MaskedLM和NextSentencePrediction两种方法分别捕捉词语和句子级别的representation。1.1模型
莫杨94·2022-11-29 19:02

Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Process

摘要这篇文章是对最近比较火的“prompt”的一个总结，一篇非常好的综述，做NLP方向建议都要读一读：）本文将这种方法称之为“prompt-basedlearning”，之前传统的监督学习方法，是对给定的x训练一个模型，然后预测对应的y。prompt-basedlearning是基于语言模型直接对文本的概率进行建模。具体为：起初的输入x中加入一个模板（template），其中含有一些需要预测的位置
爱工作的小小酥·2022-11-29 18:53

270亿参数、刷榜CLUE，阿里达摩院发布最大中文预训练语言模型PLUG（开放测试）...

自2018年谷歌发布BERT以来，预训练模型（Pre-train
深度学习技术前沿·2022-11-26 20:07

2022李宏毅机器学习深度学习学习笔记第六周--BERT的变体

文章目录前言Pre-trainingbyTranslationPredictNextTokenMaskingInputXLNetUniLM总结前言本文讲怎么得到pre-train的模型以及预测下一个token
hehehe2022·2022-11-26 00:01

BERT学习笔记(3)——self-supervised learning and pre-train model

目录1self-supervisedlearning2pre-trainmodel2.1one-hot2.2BOW2.3TF-IDF2.4n元语言模型2.5Word2vecandGloVe2.6contextualizedwordembedding参考1self-supervisedlearningself-supervisedlearning(自监督学习)据李宏毅老师的课件说，这是19年提出的一
野指针小李·2022-11-25 15:41

论文导读 | 使用预训练语言模型作为知识库的可能性

借助大规模数据集、以Transformer为代表的深度神经网络模型、以及设计好的自监督预训练（pre-train）任务，预训练语言模型展现出了强大的泛化能力，经过微调（fine-tune）后在各个下游任务中得到了优秀的成果
PKUMOD·2022-11-24 15:29

【CLIP】Learning Transferable Visual Models From Natural Language Supervision

在pre-train部分，通过对比学习，判断图像和文本是不是一个配对，而不是让图像预测文本，因为对比学习训练很高效。
S L N·2022-11-22 00:22

Re33：读论文 Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Languag

诸神缄默不语-个人CSDN博文目录论文名称：Pre-train,Prompt,andPredict:ASystematicSurveyofPromptingMethodsinNaturalLanguageProcessingArXiv
诸神缄默不语·2022-11-20 07:53

Prompt Learning - 1：继 Fine-Tuning 之后的最新范式不再神秘

本文内容主要参考刘鹏飞博士在BigModelMeetup上的报告内容以及其发表的关于PromptLearning的综述论文《Pre-train,Prompt,andPredictASystematicSurveyofPromptingMethodsinNaturalLanguageProcessing
以沐、·2022-11-14 09:47

自然语言处理从零到入门 BERT

模型的主要创新点都在pre-train方法上，即
BlackStar_L·2022-11-07 23:37

2022李宏毅机器学习深度学习学习笔记第五周--BERT

文章目录前言一、pre-train模型二、Howtofine-tune总结前言介绍什么是pre-train模型，有了模型后怎么做fine-tune以及pre-train模型怎么被训练出来。
hehehe2022·2022-10-24 18:36

【论文翻译】Rethinking Network Pruning—under the Pre-train and Fine-tune Paradigm

RethinkingNetworkPruning—underthePre-trainandFine-tuneParadigm预训练与微调范式下网络修剪的再思考论文链接代码链接摘要基于transformer的预训练语言模型显著地提高了各种NLP任务的性能。虽然这些方法是有效的，但通常对于资源有限的部署场景来说模型太大了。研究的思路开始致力于在预训练再微调的范式下应用网络修剪技术。然而,在BERT等t
清风2022·2022-10-10 07:01

GLIP_V1/V2（Ground Language-Image Pre-train）CVPR2022

visiongrounding任务：给你一句话，你去把这句话里的物体在当前图片中定位出来。就类似一个目标检测任务。CLIP是一个图像文本配对任务。将两个任务结合起来，再加入伪标签（selftraining），这样模型就可以在没有标注过的图像文本对上生成bbox标签。从而扩张整个训练数据集的数量。图像先经过图像编码器得到目标/区域特征O，然后经过一个分类头，也就是乘权重矩阵W得到输出类别的logit
山上的小酒馆·2022-09-28 10:41

深入理解BATCH NORMALIZATION 的作用

虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。
Sciws·2022-09-05 18:24

NLP第四范式：Prompt概述【Pre-train，Prompt（提示），Predict】【刘鹏飞】

一、概述1、prompt的含义prompt顾名思义就是“提示”的意思，应该有人玩过你画我猜这个游戏吧，对方根据一个词语画一幅画，我们来猜他画的是什么，因为有太多灵魂画手了，画风清奇，或者你们没有心有灵犀，根本就不好猜啊！这时候屏幕上会出现一些提示词比如3个字，水果，那岂不是好猜一点了嘛，毕竟3个字的水果也不多呀。看到了吧，这就是prompt的魅力，让我们心有灵犀一点通！(我不太会画哈，大家想象一下
u013250861·2022-07-11 07:42

CMU预训练模型最新综述：自然语言处理新范式—预训练、Prompt和预测

论文标题：Pre-train,Prompt,andPredict:ASystematicSurveyofPromptingMethodsinNaturalLanguageProcessing论文作者：PengfeiLi
PaperWeekly·2022-07-09 07:05

【自然语言处理七】Bert模型及应用

模型的主要创新点都在pre-train方法上，即用了MaskedLM和NextSentencePrediction两种方法分别捕捉词语和句子级别的representation
moo611·2022-07-07 07:35

Prompt-NLP新范式

Prompt综述论文：Pre-train,Prompt,andPredict:ASystematicSurveyofPromptingMethodsinNaturalLanguageProcessing
乘瓠散人·2022-06-16 09:11

python自然语言处理-bert实战_《从零开始学习自然语言处理(NLP)》-BERT推理加速实践（6）...

主要包括：环境搭建Pre-train模型获取结合自身业务Fine-tuning模型单精度(FP32)转半
weixin_39876002·2022-03-22 07:23

11.1 迁移学习【李沐-斯坦福21秋季：实用机器学习中文版】

2.迁移学习的途径：3.相关的领域：4.迁移学习在计算机视觉领域：5.预训练(Pre-train)：6.微调(Fine-tuning)：7.限制搜索空间（不要训练太多epoch）：8.寻找预训练模型：9
Jsper0420·2022-03-14 07:33

【心得】有关使用预训练网络构建模型的两种思路

有关使用预训练网络构建模型的两种思路最近做了一些通过Pre-train与Fine-tuning的实际案例，通过查阅资料，尤其是《DeepLearningWithPython》这本宝书，发现了一些很有趣的思路
ZZU_chenhao·2020-09-12 15:11

【文末送书】《从零开始学习自然语言处理(NLP)》-BERT推理加速实践（6）

作者：刘才全编辑：陈人和环境搭建Pre-train模型获取结合自身业务Fine-tuning模型单精度（FP32）转半精度（FP16）Fast-transformer编译Fast-transformer
l7H9JA4·2020-08-26 13:36

Bert瞎玩系列——bert的模型部分

create_model这个是纯粹的模型结构搭建部分（这里搭建好的结构，其中可训练的变量可以用pre-train好的直接赋值操作）。
MoonLer·2020-08-24 02:01

源码解读之Pre-train

pre-train是迁移学习的基础，虽然Google已经发布了各种预训练好的模型，而且因为资源消耗巨大，自己再预训练也不现实（在GoogleCloudTPUv2上训练BERT-Base要花费近500刀，
weixin_42316491·2020-08-22 14:20

Pre-train with HowNet

AutomaticSememePredictOverviewCollaborativeFilteringSPWE:SememepredictionwithWordEmbeddingMatrixFactoringSPSE:SememepredictionwithSememeEmbeddingPredictionScoresSPSE:0.372139SPWE:0.412477Ensemble:0.42
一梦换须臾_·2020-08-21 03:00

预训练语言模型在网易严选的应用

导读：随着Bert的发布，预训练(pre-train)成为NLP领域最为热门的方向之一，大规模的无监督语料加上少量有标注的语料成为了NLP模型的标配。
小白白白又白cdllp·2020-08-20 19:11

【深度学习】深入理解Batch Normalization批标准化

虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。
alittlebai1·2020-08-19 16:46

【深度学习】深入理解Batch Normalization批标准化

虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经
weixin_34161032·2020-08-19 00:03

使用CNN（convolutional neural nets）检测脸部关键点教程（五）:通过前训练（pre-train）训练专项网络

第九部分训练专项网络还记得在刚开始的时候我们丢掉的70%的训练数据吗？如果我们想要得到一个在Kaggle排行榜上有竞争力的成绩，那不是一个好主意。在70%的数据中，还有相当多的特征我们没有看到。所以改变之前只训练一个模型的方式，我们训练几个专项网络，每一个都可以预测不同的目标集合。我们训练一个模型预测left_eye_center和right_eye_center，另一个模型预测nose_tip…
Journey-Go·2020-08-18 16:56

Batch Normalization

虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。本文是对论文《BatchN
时空守卫·2020-08-17 17:12

目标检测之九：其他

9.其他方法除去上面所列的技巧外，还有一些做法也值得注意：更好的先验（YOLOv2）：使用聚类方法统计数据中box标注的大小和长宽比，以更好的设置anchorbox的生成配置更好的pre-train模型
看不见我呀·2020-08-16 06:15

【深度学习】关于pytorch中使用pretrained的模型，对模型进行调整

下面有三种，详情见博客pytorch中的pre-train函数模型引用及修改（增减网络层，修改某层参
浩瀚之水_csdn·2020-08-13 12:49

预训练模型BERT简单介绍

模型的主要创新点都在pre-train方法上，即用了MaskedLM和NextSentencePrediction两种方法分别捕捉词语和句子级别的representation。1
qq_22441151·2020-08-12 12:00

浅析人类最贵、最大的机器学习模型GPT-3及背后隐含的商业逻辑

究竟有多大呢，这个模型有1750亿余个参数，虽然OpenAI没有开源这个pre-train的模型，但是可以预估模型体积在700G左右。
李博Garvin·2020-08-07 09:59

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

作者提到当前的很多工作都限制了pre-train的潜力，传统语言模型是
lpty·2020-08-06 13:26

基于表征(Representation)形式的文本匹配、信息检索、向量召回的方法总结（用于召回、或者粗排）

文章目录总结文本匹配的两种做法Representation-Based类模型Interaction-Based模型Representation-Based改进方法从信息交互方面思考BERT类模型Pre-train
XiangJiaoJun_·2020-08-06 12:40

【深度学习】深入理解Batch Normalization批标准化

虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。
Wqz-·2020-07-09 23:42

【深度学习】深入理解Batch Normalization批标准化

虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经
EulerAndGauss·2020-07-06 10:42

BERT变形记-ERNIE

ERNIE1.0如何将知识(knowledge)信息融入到模型训练中，一种方式是将知识信息作为输入，成本是其他人使用的时候也要构建知识库，并且fine-tune和pre-train的知识库分布不一致，fine-tune
立刻有·2020-07-05 11:02

Bert详解

模型的主要创新点都在pre-train方法上，即用了MaskedLM和NextSentencePrediction两种方法分别捕捉词语和句子级别的representation。1
Xu_Wave·2020-07-05 03:34

利用预训练网络打造自己的分类网络

往往为了加快学习的进度，在训练的初期我们直接加载pre-train模型中预先训练好的参数，所以这里使用的网络是：torchvision.models.Resnet34(pretrained=True)`
顽固的云霄·2020-06-29 01:46

深入理解Batch Normalization批标准化

虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。
wanttifa·2020-06-27 14:03

Batch Normalization 详细解释！超级棒！！！！

虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。
飞向蓝天的小飞机·2020-06-25 00:31
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他