预训练顾名思义就是指之前被训练好的Model,比如很大很耗时间的model,你又不想从头training一遍。这时候可以直接download别人训练好的model，里面保存的都是每一层的parameter配置情况。(Caffe里对于ImageNet的一个model,我记得是200+M的model大小)。你有了这样的model之后，可以直接拿来做testing,前提是你的output的类别是一样的。

摘要Unliketraditionalsupervisedlearning,whichtrainsamodeltotakeinaninputxandpredictanoutputyasP(y|x),prompt-basedlearningisbasedonlanguagemodelsthatmodeltheprobabilityoftextdirectly.Tousethesemodelstope

一、pytorch中的pre-train模型卷积神经网络的训练是耗时的，很多场合不可能每次都从随机初始化参数开始训练网络。

Pre-TrainModel预训练模型的5大类结构Encoder-AE结构输入句中的未被Mask的任意单词两两可见，但是被Mask掉的单词之间都相互独立，互不可见。在预测某个被Mask掉的单词的时候，所有其它被Mask的单词都不起作用，但是句内未被Mask掉的所有单词，都可以参与当前单词的预测。对于语言理解类的NLP任务，AE结构都是效果最好的，但是对于语言生成类的任务，AE结构效果相对很差。也就

一、pytorch中的pre-train模型卷积神经网络的训练是耗时的，很多场合不可能每次都从随机初始化参数开始训练网络。

本文链接：https://blog.csdn.net/whut_ldz/article/details/78845947一、pytorch中的pre-train模型卷积神经网络的训练是耗时的，很多场合不可能每次都从随机初始化参数开始训练网络

一、监督学习，给定图片人工的告诉机器其类型，训练模型，让机器拥有f（图片）—>类型这一函数二、训练模型之前进行Pre-train，让机器学习如何辨别图片这一基本功，因为人工输入图片类型过于繁琐。

模型的主要创新点都在pre-train方法上，即用MaskedLM和NextSentencePrediction两种方法分别捕捉词语和句子级别的representation。1.1模型

摘要这篇文章是对最近比较火的“prompt”的一个总结，一篇非常好的综述，做NLP方向建议都要读一读：）本文将这种方法称之为“prompt-basedlearning”，之前传统的监督学习方法，是对给定的x训练一个模型，然后预测对应的y。prompt-basedlearning是基于语言模型直接对文本的概率进行建模。具体为：起初的输入x中加入一个模板（template），其中含有一些需要预测的位置

自2018年谷歌发布BERT以来，预训练模型（Pre-train

文章目录前言Pre-trainingbyTranslationPredictNextTokenMaskingInputXLNetUniLM总结前言本文讲怎么得到pre-train的模型以及预测下一个token

目录1self-supervisedlearning2pre-trainmodel2.1one-hot2.2BOW2.3TF-IDF2.4n元语言模型2.5Word2vecandGloVe2.6contextualizedwordembedding参考1self-supervisedlearningself-supervisedlearning(自监督学习)据李宏毅老师的课件说，这是19年提出的一

借助大规模数据集、以Transformer为代表的深度神经网络模型、以及设计好的自监督预训练（pre-train）任务，预训练语言模型展现出了强大的泛化能力，经过微调（fine-tune）后在各个下游任务中得到了优秀的成果

在pre-train部分，通过对比学习，判断图像和文本是不是一个配对，而不是让图像预测文本，因为对比学习训练很高效。

诸神缄默不语-个人CSDN博文目录论文名称：Pre-train,Prompt,andPredict:ASystematicSurveyofPromptingMethodsinNaturalLanguageProcessingArXiv

本文内容主要参考刘鹏飞博士在BigModelMeetup上的报告内容以及其发表的关于PromptLearning的综述论文《Pre-train,Prompt,andPredictASystematicSurveyofPromptingMethodsinNaturalLanguageProcessing

模型的主要创新点都在pre-train方法上，即

文章目录前言一、pre-train模型二、Howtofine-tune总结前言介绍什么是pre-train模型，有了模型后怎么做fine-tune以及pre-train模型怎么被训练出来。

RethinkingNetworkPruning—underthePre-trainandFine-tuneParadigm预训练与微调范式下网络修剪的再思考论文链接代码链接摘要基于transformer的预训练语言模型显著地提高了各种NLP任务的性能。虽然这些方法是有效的，但通常对于资源有限的部署场景来说模型太大了。研究的思路开始致力于在预训练再微调的范式下应用网络修剪技术。然而,在BERT等t

visiongrounding任务：给你一句话，你去把这句话里的物体在当前图片中定位出来。就类似一个目标检测任务。CLIP是一个图像文本配对任务。将两个任务结合起来，再加入伪标签（selftraining），这样模型就可以在没有标注过的图像文本对上生成bbox标签。从而扩张整个训练数据集的数量。图像先经过图像编码器得到目标/区域特征O，然后经过一个分类头，也就是乘权重矩阵W得到输出类别的logit

虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。

一、概述1、prompt的含义prompt顾名思义就是“提示”的意思，应该有人玩过你画我猜这个游戏吧，对方根据一个词语画一幅画，我们来猜他画的是什么，因为有太多灵魂画手了，画风清奇，或者你们没有心有灵犀，根本就不好猜啊！这时候屏幕上会出现一些提示词比如3个字，水果，那岂不是好猜一点了嘛，毕竟3个字的水果也不多呀。看到了吧，这就是prompt的魅力，让我们心有灵犀一点通！(我不太会画哈，大家想象一下

论文标题：Pre-train,Prompt,andPredict:ASystematicSurveyofPromptingMethodsinNaturalLanguageProcessing论文作者：PengfeiLi

模型的主要创新点都在pre-train方法上，即用了MaskedLM和NextSentencePrediction两种方法分别捕捉词语和句子级别的representation

Prompt综述论文：Pre-train,Prompt,andPredict:ASystematicSurveyofPromptingMethodsinNaturalLanguageProcessing

主要包括：环境搭建Pre-train模型获取结合自身业务Fine-tuning模型单精度(FP32)转半

2.迁移学习的途径：3.相关的领域：4.迁移学习在计算机视觉领域：5.预训练(Pre-train)：6.微调(Fine-tuning)：7.限制搜索空间（不要训练太多epoch）：8.寻找预训练模型：9

有关使用预训练网络构建模型的两种思路最近做了一些通过Pre-train与Fine-tuning的实际案例，通过查阅资料，尤其是《DeepLearningWithPython》这本宝书，发现了一些很有趣的思路

作者：刘才全编辑：陈人和环境搭建Pre-train模型获取结合自身业务Fine-tuning模型单精度（FP32）转半精度（FP16）Fast-transformer编译Fast-transformer

create_model这个是纯粹的模型结构搭建部分（这里搭建好的结构，其中可训练的变量可以用pre-train好的直接赋值操作）。

pre-train是迁移学习的基础，虽然Google已经发布了各种预训练好的模型，而且因为资源消耗巨大，自己再预训练也不现实（在GoogleCloudTPUv2上训练BERT-Base要花费近500刀，

AutomaticSememePredictOverviewCollaborativeFilteringSPWE:SememepredictionwithWordEmbeddingMatrixFactoringSPSE:SememepredictionwithSememeEmbeddingPredictionScoresSPSE:0.372139SPWE:0.412477Ensemble:0.42

导读：随着Bert的发布，预训练(pre-train)成为NLP领域最为热门的方向之一，大规模的无监督语料加上少量有标注的语料成为了NLP模型的标配。

虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。

虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经

第九部分训练专项网络还记得在刚开始的时候我们丢掉的70%的训练数据吗？如果我们想要得到一个在Kaggle排行榜上有竞争力的成绩，那不是一个好主意。在70%的数据中，还有相当多的特征我们没有看到。所以改变之前只训练一个模型的方式，我们训练几个专项网络，每一个都可以预测不同的目标集合。我们训练一个模型预测left_eye_center和right_eye_center，另一个模型预测nose_tip…

虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。本文是对论文《BatchN

9.其他方法除去上面所列的技巧外，还有一些做法也值得注意：更好的先验（YOLOv2）：使用聚类方法统计数据中box标注的大小和长宽比，以更好的设置anchorbox的生成配置更好的pre-train模型

下面有三种，详情见博客pytorch中的pre-train函数模型引用及修改（增减网络层，修改某层参

模型的主要创新点都在pre-train方法上，即用了MaskedLM和NextSentencePrediction两种方法分别捕捉词语和句子级别的representation。1

究竟有多大呢，这个模型有1750亿余个参数，虽然OpenAI没有开源这个pre-train的模型，但是可以预估模型体积在700G左右。

作者提到当前的很多工作都限制了pre-train的潜力，传统语言模型是

文章目录总结文本匹配的两种做法Representation-Based类模型Interaction-Based模型Representation-Based改进方法从信息交互方面思考BERT类模型Pre-train

虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。

虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经

ERNIE1.0如何将知识(knowledge)信息融入到模型训练中，一种方式是将知识信息作为输入，成本是其他人使用的时候也要构建知识库，并且fine-tune和pre-train的知识库分布不一致，fine-tune

模型的主要创新点都在pre-train方法上，即用了MaskedLM和NextSentencePrediction两种方法分别捕捉词语和句子级别的representation。1

往往为了加快学习的进度，在训练的初期我们直接加载pre-train模型中预先训练好的参数，所以这里使用的网络是：torchvision.models.Resnet34(pretrained=True)`

虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。

虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。