Fine 第20页

Attention——Transformer——Bert——FineTuning——Prompt

目录一、Attention机制二、Transformer模型三、Bert模型四、Fine-Tuning微调五、Prompt一、Attention机制1、核心逻辑：从关注全部到关注重点；2.计算attention

码一码码码·2022-11-21 12:54

迁移学习/fine-tuning

参考：TF-Slim实现模型迁移/微调tensorflow/hub通过重新使用TensorFlow模型的一部分来实现迁移学习的库https://tensorflow.google.cn/hub/Tensorflow-pb保存与导入Tensorflow-查看保存的变量及名字Tensorflow-变量保存与导入迁移学习：数据不足时如何深度学习Pre-trainingmodel完整程序：迁移学习迁移学习

风吴痕·2022-11-21 12:52

fine-tuning（微调）的理解

fine-tuning介绍什么情况下使用微调微调指导事项不同数据集下使用微调涉及到的其他知识学习率（learning-rate）卷积神经网络的核心迁移学习与微调什么是迁移学习为什么要迁移学习详细解释自己的理解

好耶OvO·2022-11-21 12:19

迁移学习和fine tuning 的关系

一、什么是迁移学习？迁移学习(Transferlearning)顾名思义就是把已训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务都是存在相关性的，所以通过迁移学习我们可以将已经学到的模型参数（也可理解为模型学到的知识）通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习。模型的训练与预测：深度学习的模型可以划分为训练和预测两个阶段。训练分为两种策

木绿·2022-11-21 12:48

pytorch深度学习-微调（fine tuning）

微调（finetuning）首先举一个例子，假设我们想从图像中识别出不同种类的椅子，然后将购买链接推荐给用户。一种可能的方法是先找出100种常见的椅子，为每种椅子拍摄1,000张不同角度的图像，然后在收集到的图像数据集上训练一个分类模型。这个椅子数据集虽然可能比Fashion-MNIST数据集要庞大，但样本数仍然不及ImageNet数据集中样本数的十分之一。这可能会导致适用于ImageNet数据集

我是一颗棒棒糖·2022-11-21 12:18

NLP新宠——Prompt范式

它和Fine

CReep~·2022-11-21 12:42

（Transfer Learning and fine tuning）迁移学习与微调

迁移学习：借助预训练模型，泛化到我们自己的模型上举栗子VGG16网络，在ImageNet上已经训练好，是一个预训练模型，有1000个分类1、当我们的数据集较小时，只修改最后一层全连接层，冻结其余所有层的结构和权重；2、当我们的数据集较大时，修改所有全连接层，冻结其余所有卷积层的结构和权重；

郑建宇Jy·2022-11-21 12:12

MXNET深度学习框架-27-微调（Fine-tuning）-迁移学习

众所周知，深度学习最重要的一个特性就是所需数据量大，一旦数据量比较小，而采用深度学习去训练的话，最终的结果只有一个：过拟合！但自己的数据集能达到上万的量吗？估计很少吧，就算有，也可能是斥巨资收集的吧。所以，为了应对这种情况，迁移学习(TransferLearning)就被提出来了。它的主要思想是将从源数据集学到的知识迁移到目标数据集上。上图中，源数据是一个比较大的数据集如ImageNet，目标数据

风极_陨·2022-11-21 12:06

计算机视觉之迁移学习中的微调(fine tuning)

现在的数据集越来越大，都是大模型的训练，参数都早已超过亿级，面对如此大的训练集，绝大部分用户的硬件配置达不到，那有没有一种方法让这些训练好的大型数据集的参数，迁移到自己的一个目标训练数据集当中呢？比如使用最广泛的图像数据集ImageNet，超过1000万张的图像和1000个分类，这些耗费大量时间人力物力而训练出来的参数，为我所用？答案是肯定的，就是接下来说的微调(finetuning)，顾名思义就

寅恪光潜·2022-11-21 12:03

pytorch如何精确冻结某一层的参数？

假若我们不想fine-tune这个ber

#苦行僧·2022-11-21 08:39

YOLO_v7讲解

文章目录一：特色浅析二：ELAN模块三：MPConv混合卷积四：SPPCSPC五：ImpConv隐性知识学习六：Fine-to-CoarseAuxilityLoss一：特色浅析和v6一样，对网络结构进行了大量改变

江南綿雨·2022-11-21 03:28

Caffe100数据集使用

每个图像带有1个小类的“fine”标签和1个大类“coarse”标签。

汀桦坞·2022-11-21 02:36

YOLO 超详细入门02 v2 （含代码及原文）

YOLOv2改进之框架1.1网络架构1.2BatchNormalization二、YOLOv2改进方法之尺寸相关2.1HighResolutionClassifier（高分辨率的分类器）原因步骤2.2Fine-GrainedFeatures

湘粤Ian·2022-11-21 00:48

Bilinear CNN PyTorch版代码解读

/usr/bin/envpython#-*-coding:utf-8-*-"""Fine-tuneall

weixin_37718439·2022-11-20 20:26

DynamicHead：基于像素级路由机制的动态FPN | NIPS 2020

实验结果来看，细粒度动态detectionhead可以即插即提点来源：晓飞的算法工程笔记公众号论文:Fine-GrainedDynamicHeadforObjectDetection论文地址：h

晓飞的算法工程笔记·2022-11-20 19:16

《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》论文翻译--中英对照

文章目录1Introduction(简介)2RelatedWork（相关工作）2.1Feature-basedApproaches（基于特征的方法）2.2Fine-tuningApproaches（微调方法

吕秀才·2022-11-20 18:08

【论文精读5】MVSNet系列论文详解-Point-MVSNet

Point-MVSNet全文名称：Point-BasedMulti-ViewStereoNetwork，是2019提出的使用coarse-to-fine方法来优化深度图推断过程的网络结构，与上一篇CVP-MVSNet

LiverWhles·2022-11-20 14:42

论文阅读《Knowledge Collaborative Fine-tuning for Low-resource Knowledge GraphCompletion》

论文链接基于知识协同微调的低资源知识图谱补全方法2022年3月发表于软件学报是浙大prompt系列的一个延续本文之前的工作：AdaPrompt:AdaptivePrompt-basedFinetuningforRelationExtraction本文之后的工作：Knowledge-awarePrompt-tuningwithSynergisticOptimizationforRelationExt

沐神的小迷弟·2022-11-20 12:03

Coarse-to-Fine Region Selection and Matching

文章目录Coarse-to-FineRegionSelectionandMatching0Abstract1Contribution2Coarse-to-FineMatchingAlgorithm2.1Coarse-to-FineRegionSelection2.2Coarse-to-FineAffineSearch2.3CostSavingsoftheAffineHierarchy3Theore

李劭卓保护美好一切·2022-11-20 06:28

少样本学习概述及三种经典方法

从迁移学习讲起Pre-train+Fine-tune不同领域数据规模不同，模型表现并不理想，但是:模型浅层可以学到通用特征（深层才学到更为复杂的分类特征）在大规模数据上训练的模型，其底层特征保持较高的通用性迁移学习的下游任务仍然受限于目标域上的数据量小样本学习人如何认识新动物

Pricelesse·2022-11-20 06:35

BEIT: BERT Pre-Training of Image Transformers(图像Transformer的BERT预训练)

2.1.2VisualToken2.2BackboneNetwork：ImageTransformer2.3预训练BEiT：MaskedImageModeling2.4FromthePerspectiveofVAE（从VAE视角进行解释）2.5预训练设置2.6Fine-TuningBEiTonDo

AcceptGo·2022-11-20 04:14

机器学习策略

makesomechangesonyourAIarchitecture:e.g.usingbroaderandwiderANN,fine-tuningsomeimportanthyper-parameters

VictoryZhou_·2022-11-20 03:00

一段话解释什么是预训练模型？

网络参数初始化的时候可以加载A学习好的参数，其他的高层参数随机初始化，之后用B任务的训练数据来训练网络，当加载的参数保持不变时，称为"frozen"，当加载的参数随着B任务的训练进行不断的改变，称为“fine-tuning

源代码杀手·2022-11-20 00:39

Learning Fine-grained Image Similarity with Deep Ranking(泛读)

一.文献名字和作者LearningFine-grainedImageSimilaritywithDeepRanking，CVPR2014二.阅读时间2014年10月1日三.文献的贡献点文献提出了一种基于深度投票机制的图片细粒度相似性，以及一种在线训练算法。深度投票机制主要基于三个部分的模型的组合，其中一个是深度卷积神经网络，另外两个是将下采样，卷积层和maxpooling层组合起来的浅层结构。深度

shengno1·2022-11-19 22:57

Mathematica学习笔记2

mat[[i+128,j]]},{i,1,128},{j,1,128}]常用的画图命令：ListStreamPlot[data]ListVectorPlot[data,VectorPoints->All/Fine

dianqianguo6739·2022-11-19 16:24

【论文解读】BERT和ALBERT

文章目录1.前言2.BERT2.1引入2.2以前的工作2.2.1feature-based方法2.2.2fine-tuning方法2.2.3迁移学习方法2.3BERT架构2.3.1MLM2.3.2NSP2.4

洛克-李·2022-11-19 13:37

pretraining+fine tuning

fewshotlearning简单实现方法：在大规模数据做预训练模型，然后在小规模suportset上做finetuning。方法简单准确率高。基础数学知识：cos函数可以判断两个向量的相似度：长度=1时长度=2时softmax：few-shotleaning做法：1先用大数据集训练一个神经网络，来从图片提取特征（预训练模型用来提取特征，图片的模型是否使用？其他EEG数据是否可以作为大数据来作为预

人工智能（篮球方向）·2022-11-19 10:42

元学习 & Meta Learning & Few-Shot Learning 三 || Pretraining and Fine Tuning

准备知识余弦相似度假设有x和w两个单位向量，那么它们间的余弦相似度计算方法如图计算公式python代码importnumpyasnpvec1=np.array([1,2,3,4,5])vec2=np.array([3,4,5,6,7])vec3=np.array([1,2,3,4,5])#np.linalg.norm()是np内置的函数用来求算范数，向量的norm范数就是向量的模长simi12=n

Anthony_CH·2022-11-19 10:38

few-shot learning(三)：Pretraining and Fine Tuning

Fine-TuningFine-Tu

坚硬果壳_·2022-11-19 10:32

什么是 Few-shot learning (小样本学习)？

SaiameseNetwork一般训练过程TripetLossPretrainingandFineTuningCosineSimilaritySoftmaxClassifierFineTuning这是没有Fine—Tuning

live_for_myself·2022-11-19 10:27

Few-Shot Learning：Pretraining（预训练） + Fine Tuning

用pretraining(预训练)+FineTuning解决小样本学习。虽然这类方法很简单，但是准确率与最好的方法相当。在大规模数据上预训练模型，在小规模数据SupportSet上做FineTuning。CosineSimilarity计算两个向量的相似度1.x和w向量长度相等都为1，cosθ等于x和w的内积，CosineSimilarity=cosθ=x与w的内积，表示x投影到w上的截距，范围是

李问号·2022-11-19 10:19

CVP-MVSNet

CostVolumePyramidBasedDepthInferenceforMulti-ViewStereo:基于成本体积金字塔的多视图立体深度推断CasMVSNet和CVPMVSNet一样是coarse-to-fine

川河w·2022-11-19 09:00

Bert从入门到放弃——Bert文章精读（每部分的内容简介）及核心问题

Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding文章逐段简介Bert从入门到放弃bert的两个步骤：预训练pre-training和微调fine-tuning

SaltyFish_Go·2022-11-19 06:34

CVPR 2021 TransFG: A Transformer Architecture for Fine-grained Recognition

动机由于类间存在着细微的差异，细粒度视觉分类（FGVC）是一项非常具有挑战性的任务，它的目标是从子类中识别出目标。近年来的研究主要集中在如何定位最有判别力的图像区域，并依靠这些区域来提高网络捕捉细微差异的能力。这些工作都需要一个专门设计的模块来提取候选区域，并且这些选定的区域需要再次通过主干网络进行传播以进行最终的分类。此外，一些被提取得候选区域往往包含了整个目标，判别力不够。而且，这种策略不可避

smile909·2022-11-19 06:56

Fast R-CNN 详解

FastR-CNN详解一、R-CNN和SPPNet（一）R-CNN缺点（二）SPPNet缺点二、网络结构（一）RoIpooling（二）训练过程1.监督预训练2.Fine-turning3.多任务loss4

*青云*·2022-11-19 06:18

OCR/STR生僻字数据训练 | PaddleOCR的Fine-tune常见问题汇总（3）

1、印章如何识别？使用带tps的识别网络或abcnet,2.使用极坐标变换将图片拉平之后使用crnn2、多语言的字典里是混合了不同的语种，这个是有什么讲究吗？统一到一个字典里会对精度造成多大的损失？统一到一个字典里，会造成最后一层FC过大，增加模型大小。如果有特殊需求的话，可以把需要的几种语言合并字典训练模型，合并字典之后如果引入过多的形近字，可能会造成精度损失，字符平衡的问题可能也需要考虑一下。

訢詡·2022-11-19 05:52

PyTorch 加载 Mask R-CNN 预训练模型并 fine-tuning

目录1MaskR-CNN原理(简单版)2ROIAlign3PyTorch加载预训练模型1MaskR-CNN原理(简单版) MaskR-CNN是一个实例分割（Instancesegmentation）算法，主要是在目标检测的基础上再进行分割。MaskR-CNN算法主要是FasterR-CNN+FCN，更具体一点就是ResNet/VGGNet+RPN+RoIAlign+FastR-CNN+FCN，如

八岁爱玩耍·2022-11-19 05:47

【目标检测】为什么SPP-Net无法fine-tune卷积层？

一、问题的提出fastrcnn中提到SPP-Net无法fine-tunespppooling层之前那些卷积层，原文如下所示：二、问题的解答严格说，SPP-Net也可以反向传播，但是会复杂很多，所以用connotupdatetheconvolutionallayers

旅途中的宽~·2022-11-19 03:08

【论文精读4】MVSNet系列论文详解-CVP-MVSNet

CVP-MVSNet全文名为“CostVolumePyramidBasedDepthInferenceforMulti-ViewStereo”，主要创新点在于使用由粗到细（coarse-to-fine）

LiverWhles·2022-11-19 01:08

pytorch--模型微调fine-tuning

没关系，我们先找到一个同类的别人训练好的模型，把别人现成的训练好了的模型拿过来，换成自己的数据，调整一下参数，再训练一遍，这就是微调（fine-tu

有趣的学习·2022-11-18 07:33

2022-11-16-每日翻译

每日英中+文言文翻译，来自每日翻译英译中原文：The human race has had long experience and a fine tradition in surviving adversity

伊丽小美·2022-11-17 20:40

Prompt Learning - 1：继 Fine-Tuning 之后的最新范式不再神秘

本文内容主要参考刘鹏飞博士在BigModelMeetup上的报告内容以及其发表的关于PromptLearning的综述论文《Pre-train,Prompt,andPredictASystematicSurveyofPromptingMethodsinNaturalLanguageProcessing》BigModelMeetup报告链接：智源社区活动论文链接：https://arxiv.org/

以沐、·2022-11-14 09:47

学习笔记【Prompt Learning进展】

1.1Transformer/Self-supervision在transformer兴起之前主要是有supervisedlearning；在transformer发展起来之后逐渐变成pre-train+fine-tuning

hei_hei_hei_·2022-11-14 09:40

极智AI | 多模态新姿势详解 BLIP 算法实现

Vision-LanguagePre-training(VLP)+Fine-tuning=>ZeroShot/FewShot的模式是快速解决多下游任务的一个好的模式，VLP是这个模式的开端，所以对于VLP

极智视界·2022-11-12 11:46

细粒度图像分类论文研读-2013

文章目录Fine-GrainedCrowdsourcingforFine-GrainedRecognitionAbstractIntroductionTheBubblesGameTheBubbleBankAlgorithmTheBubbleDetectorsHierachicalPartMatchingforFIne-GrainedVisualCategorizationAbstractIntro

右边是我女神·2022-11-08 20:41

网络压缩李宏毅

训练出一个大模型—>评估神经元或者权重的重要性—>移除—>将新网络放到原来的数据上fine-tuning（一次减掉太多会有损害，进行迭代删除）为什么不直接训练一个小模型：大模型比较容易优化。

十二壳·2022-11-06 14:02

机器学习实战（二）：End-to-End Machine Learning Project

（从数据探索和可视化得到东健）PreparethedataforMachineLearningalgorithms.Selectamodelandtrainit.Fine-tuneyourmodel.

一城山河·2022-11-02 15:04

FINE-TUNING DISTORTS PRETRAINED FEATURES AND UNDERPERFORMS OUT-OF-DISTRIBUTION

将预先训练的模型转移到下游任务时，有两种常用的方法是微调(更新所有模型参数)和线性探测(更新最后一个线性层)(tuningtheheadbutfreezinglowerlayers)fine-tune的好处

Tsukinousag1·2022-11-01 03:40

TensorFlow（十七）训练自己的图像识别模型（基于VGG16）

下面将会使用VGG16为基础，来微调（Fine-tune）模型达到训练我们自己的数据的目的。这里将会分类一些地表的卫星图片来区分森林、水域、岩石、农田、冰川和城市区域。

viafcccy·2022-10-30 14:21

【MindSpore易点通】网络构建经验总结下篇

MindSpore实现梯度不回传以及梯度回传后不更新权重背景信息训练中经常会用到某层的梯度不回传（比如互学习）或者梯度回传但是不更新权重（Fine-tuning）经验总结梯度不回传使用stop_gradient

昇思MindSpore·2022-10-30 07:31

推荐频道

Fine