fine-tuning 第8页

“Universal Language Model Fine-tuning for Text Classification”论文解读

三·川·2020-08-12 13:40

NLP ----- Bert with Sentiment Analysis

官方也给出了pretraining和fine-tuning的代码，但仅仅是调试官方的代码还是不能将模型很好利用起来，自然

飞猫侠·2020-08-11 03:17

AI实战：迁移学习之使用ResNet做分类

迁移学习包括：1、FeatureExtraction2、Fine-Tuning本文基于tensorflow2.0，使用cats_vs_dog数据集，应用tf.keras.applications创建basemodel

szZack·2020-08-11 01:37

Tensorflow Fine-Tuning 的一些说明

http://tflearn.org/getting_started/#fine-tuning现在以代码说明:cifar_10.py#-*-coding:utf-8-*-"""ConvolutionalnetworkappliedtoCIFAR

夹克牛·2020-08-10 07:32

项目实战（八） - - BERT实现与Fine-tuning

项目实战（八）--BERT实现与Fine-tuning1.BERT简介2.两个语言模型任务：2.1完形填空MaskedLanguageModel2.2NextSentencePrediction3.细节技巧3.1LOSS计算3.2激活函数GELU4.核心代码5.Fine-tuning1.BERT简介BERT全称为BidirectionalEncoderRepresentationfromTrans

布拉拉巴卜拉·2020-08-06 19:46

【NLP】GPT原理

GPT采用两阶段过程，第一个阶段是利用语言模型进行预训练，第二阶段通过Fine-tuning的模式解决下游任务。下图展示了GPT的预训练过程。

马苏比拉米G·2020-08-06 13:27

Bert踩坑总结—————分类准确率过低

使用bert进行文本分类，主要踩的坑有：数据格式，看自己写的类中如何提取标签和文本fine-tuning的配置，除了指定文件路径外，可以调整学习率为万分之一到十万分之一之间fine-tuning中train.sh

Zhen大虾·2020-08-06 13:32

OpenAI-GPT（Generative Pre-Training）详解

GPT的核心思想是先通过无标签的文本去训练生成语言模型，再根据具体的NLP任务（如文本蕴涵、QA、文本分类等），来通过有标签的数据对模型进行fine-tuning。具

Xu_Wave·2020-08-06 12:17

NLP论文解读：GPT-2

NLP论文解读：GPT-2摘要自然语言处理中，使用标注数据集的有监督fine-tuning方法成为主流。本文使用自行构建的新数据集WebText构建了一个语言模型直接处理下游任务。

susu944866518·2020-08-04 01:46

深度学习笔记16_猫狗案例优化_使用预训练模型（fine-tuning）

模型微调概念微调是指将其顶部的几层“解冻”，并将这解冻的几层和新增加的部分联合训练。详细的理解见下图[外链图片转存失败(img-ih2x0XIm-1569374299326)(https://upload-images.jianshu.io/upload_images/19296570-9e2d990bdaf2d549.jpg?imageMogr2/auto-orient/strip%7Cimag

瓦力人工智能·2020-07-15 23:25

Deep learning系列（十三）Transfer learning 和 caffe Fine-tuning

1.TransferLearning在实践中因为数据库大小的限制，我们通常不会从头开始（参数随机初始化）训练卷积神经网络。相反，通常会在一个大的数据库上（比如ImageNet，包含1000类总数为120万的图像分类数据库）进行CNN的训练，得到训练好的网络（下面简称ConvNet），然后ConvNet以下面两种方式用到我们的项目中：将ConvNet作为特征提取器。去掉ConvNet最后一层全连接层

du_mengnan·2020-07-13 15:56

PyTorch(五)：迁移学习(微调 Fine-Tuning)、获取PyTorch预训练模型

本文参考–PyTorch官方教程中文版链接：http://pytorch123.com/FirstSection/PyTorchIntro/Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/package_references/Tensor/PyTorch英文文档：https://pytorch.org/docs/stable/tens

连理o·2020-07-12 12:05

深度学习笔记（一）：模型微调fine-tune

深度学习中的fine-tuning一.什么是模型微调1.预训练模型（1）预训练模型就是已经用数据集训练好了的模型。

熊宝宝爱学习·2020-07-10 02:52

卷积神经网络全连接层转换为卷积层获得heatmap

论文使用AlexNet为基础fine-tuning后的网络作为人脸分类器，在检测时将网络中的全连

zizi7·2020-07-09 06:09

AI实战：深度学习模型压缩加速方法汇总

SqueezedNet、mobileNet比如：depth-wise卷积、point-wise卷积（Depthwise卷积与Pointwise卷积详解）2、在已训练好的模型上做裁剪先训练好模型，再在其上做fine-tuning

szZack·2020-07-06 12:43

PyTorch之利用预训练模型进行Fine-tuning教程

公开的可用的数据库相对于ImageNet等数据库而言，其规模太小了，无法利用深度网络模型直接trainfromscratch，容易引起过拟合，这时就需要把一些在大规模数据库上已经训练完成的模型拿过来，在目标数据库上直接进行Fine-tuning

鹊踏枝-码农·2020-07-05 16:18

解决Caffe训练过程中loss不变问题

1.loss等于87.33不变loss等于87.33这个问题是在对Inception-V3网络不管是fine-tuning还是train的时候遇到的，无论网络迭代多少次，网络的los

以行践言·2020-07-05 16:20

fine-tuning

JLU-IPVR听笙首先解释一下什么叫fine-tuning，基于一个训练好的caffe模型使用自己的数据，利用训练好的模型的权重参数值，通过修改最后一层的参数和输出类别，训练出一个适合自己数据的模型。

听笙·2020-07-05 14:46

Caffe使用step by step：caffe框架下的基本操作和分析

框架环境比较简单，但是完整的从数据准备->模型训练->调参数->合理结果需要一个比较长的过程，这个过程中你需要对caffe中很多东西，细节进行深入的理解，这样才可以知道为什么能有这样的结果，在训练或者fine-tuning

ddd497·2020-07-04 14:20

bert模型裁剪及标签平滑在短文本意图识别中的效果分析

前馈层参数量是H*4H=768*3072所以可以发现参数部分集中在词向量和前馈层实际上对于部分下游任务，可能并不需要这么大的参数量，有些下游任务的特征可能比较明显，使用大网络耗时就比较严重了，而且容易fine-tuning

Jeu·2020-07-04 14:58

ssd_mobilenet_v1的fine-tuning成果展示

总结：fine-tuning的模型为ssd_mobilenet_v1_coco_2018_01_28训练的步数为50000steps验证的步数为2000steps训练的数据集为VOCtrainval_11

古仔8934·2020-07-02 10:39

YOLOv3的训练、测试、fine-tuning过程中遇到的问题

先占个坑。train时遇到错误：UserWarning:indexingwithdtypetorch.uint8isnowdeprecated,pleaseuseadtypetorch.boolinstead解决方法：https://blog.csdn.net/BBZZ2/article/details/101022935用自己的数据集训练，改变了类别数。训练时会出现错误如下：RuntimeErr

TTTree_·2020-07-01 13:15

解决使用Keras对mobileNet进行迁移学习(fine-tining)出现的过拟合问题（验证集正确率过低）

对于目前网上的利用Keras对各种网络进行fine-tuning以及迁移学习的代码大多都是直接从keras的官网上直接抄过来的（其中知乎上的一个例子也是如此，，我一开始的代码也是参考的那个fine-tuning

HK_Joe·2020-07-01 09:10

Caffe学习笔记7：模型微调

在这种情况下重新训练的一个新的网络是比较复杂，且参数也不好调整，因此数据集为图像时，通过fine-tuning微调是一个比较理想的选择。

Zz鱼丸·2020-06-30 19:16

tensorflow BERT学习记录--使用自己的训练集--run_classifier.py

tensorflowbertgithub上有tensorflowbert的源代码和预训练模型的下载链接该仓库里的run_classifier.py用于fine-tuning以及推理,官方的BERT库里,

ygfrancois·2020-06-30 07:05

对YOLOv3训练出的权重文件做网络裁剪后的fine-tuning操作记录总结

这对于在应用阶段做模型加载的时候时间非常的长，因此我们项目组打算对训练好的模型做裁剪，就是把一些不必要的卷积核及其参数删除掉，（删除的原则就是设置一阈值，当小于某一个阈值的时候踢出该卷积核和对应的参数），在此基础对裁剪完成后的权重文件重新fine-tuning

xidaoliang123·2020-06-30 01:17

采用caffe的model在自己的数据上面进行 fine-tuning

学了caffe的基本构架以后，想采用caffe的model在自己的数据库上面进行fine-tuning.我的主要工作还是做图像分类，所以我没有修改caffe的构架。（1）只是将最后的输出1000改为了14，同时把train和val中的fc8全部改为一个自定义的名字，如fc-ft,这个名字随便自己定义。（2）用自带的create_imagenet.sh脚本生成训练和验证数据，用make_imagen

始于长虹·2020-06-29 20:52

利用VGG16网络模块进行迁移学习，实操（附源码）

通常来说，迁移学习有两种类型：特征提取微调（fine-tuning）第一种迁移学习是将预训练的网络视为一个任意特征提取器。图片经过输入层，然后前向传播，最后在指定层停止，通过提取该指定层的输

Shannon T·2020-06-29 04:38

图像识别——通过tensorflow利用自己的图片数据训练模型——Fine-tuning a model from an existing checkpoint

本文是基于windows系统，并主要参考：https://github.com/tensorflow/models/tree/master/research/slim。要完成自己图片的识别必须使用整个slim文件夹slim下载链接，先需要下载整个模型包，然后在里面找到slim文件夹：一、对于官方提供的flower数据集进行图像识别以下所有程序都在slim文件夹下进行1.首先用官方提供的代码下载fl

逻辑空间·2020-06-29 02:26

深度学习入门篇--手把手教你用 TensorFlow 训练模型

付越导语Tensorflow在更新1.0版本之后多了很多新功能，其中放出了很多用tf框架写的深度网络结构（github.com/tensorflow/…），大大降低了开发难度，利用现成的网络结构，无论fine-tuning

weixin_34278190·2020-06-28 15:34

Caffe fine-tuning 微调网络

转载请注明出处，楼燚(yì)航的blog，http://www.cnblogs.com/louyihang-loves-baiyan/目前呢，caffe，theano,torch是当下比较流行的DeepLearning的深度学习框架，楼主最近也在做一些与此相关的事情。在这里，我主要介绍一下如何在Caffe上微调网络，适应我们自己特定的新任务。一般来说我们自己需要做的方向，比如在一些特定的领域的识别

weixin_30432179·2020-06-27 19:18

论文笔记：Fine-tuning CNN Image Retrieval with No Human Annotation

RadenovićF,ToliasG,ChumO.Fine-tuningCNNimageretrievalwithnohumanannotation[J].IEEEtransactionsonpatternanalysisandmachineintelligence,2018,41(7):1655-1668.code:https://github.com/filipradenovic/cnnima

二楼后座Scarlett·2020-06-27 09:03

使用Google免费GPU进行BERT模型fine-tuning

使用GoogleColab中自带的免费GPU进行BERTfine-tuning。前期准备首先，需要申请一个谷歌账号。打开谷歌云端硬盘，新建一个文件夹，例如：BERT。将代码和数据上传到该文件里。这里的代码应该是已经修改好的代码，具体方法参照上一篇博客，博客最后也有提到，谷歌Colab可以在运行的时候设定参数，因此这里代码里的参数可以保持为默认参数，方便在每次运行的时候修改。在云盘任意位置新建-更多

LeoWood·2020-06-27 08:32

无监督领域自适应（Unsupervised Domain Adaptation）介绍

比如我们最常见的fine-tuning。根据目前已有的研究显示，1）深度神经网络可以很好地学习到数据间的可迁移特征，或者叫做域不变（domai

AscentOf·2020-06-26 20:13

用tensorflow中slim下的分类网络训练自己的数据集以及fine-tuning(可以直接实战使用)

目录前期准备训练flower数据集(包括fine-tuning)训练自己的数据集(包括fine-tuning)前期准备前期了解tensorflowmodels在tensorflowmodels中有官方维护和非官方维护的

stesha_chen·2020-06-26 14:42

keras系列︱迁移学习：利用InceptionV3进行fine-tuning及预测、完美案例（五）

之前在博客《keras系列︱图像多分类训练与利用bottleneckfeatures进行微调（三）》一直在倒腾VGG16的fine-tuning，然后因为其中的Flatten层一直没有真的实现最后一个模块的

悟乙己·2020-06-26 10:55

Fine-Tuning CNN Image Retrieval with No Human Annotation

论文杂记上一篇主目录下一篇文章结构1预备知识1.1StructurefromMotion(SfM)1.2池化层1.3Whitening（白化）2本文相关工作2.1训练数据附录【前言】通常训练CNNs需要大量的标记数据，针对这种情况，本文提出一种微调后的CNNs网络结构可用于在大规模无序图像中进行检索。通过利用3d模型中可用的几何图形和摄像机位置来选择正负样例，来增强特定目标检索的性能表现。本文提出

ShaneHolmes·2020-06-25 06:38

2018-12-24

identical完全相同的identify确认，识别humid潮湿hominid原始人类fine-tuning微调absorb吸收re'sent怨恨'recent近期circus马戏团itwillturnbacktime

彭奕泽·2020-06-24 21:12

通俗易懂地了解faster RCNN(RPN区域建议网络)

fasterRCNN[2015Ren]回顾R-CNN==>1image/mniFastR-CNN==>1~2fps1.fasterRCNNBackbone(神经网络模型)pre-train(预训练)fine-tuning

yubajin·2020-06-24 11:19

深度学习_DBN模型_图像分类

训练：预训练（pre-training）+微调（fine-tuning）这里先简单理解

三眼二郎·2020-06-22 11:36

[译]简明教程：Tensorflow模型的保存与恢复

4.如何利用导入的预训练好模型，进行fine-tuning或改造。这篇教程，假定读者对神经网

phusFuNs·2020-03-23 16:07

代码补全快餐教程(2) - 预训练模型的加载和使用

通过这个大型的预训练语言模型，我们可以做一些fine-tuning针对编程语言进行优化，也可以直接

Jtag特工·2020-03-09 07:03

预训练语言模型 | (3) Bert

bert之前，将预训练的embedding应用到下游任务的方式大致可以分为2种，一种是feature-based，例如ELMo这种将经过预训练的embedding作为特征引入到下游任务的网络中；一种是fine-tuning

CoreJT·2020-02-05 22:41

bert生成句向量

第二个阶段叫做：Fine-tuning，利用预训练好的语言模型，完成具体的NLP下游任务。

飘涯·2020-01-08 07:04

Physics, fine-tuning and life （宇宙是为我定制的吗？物理学，微调和生命）”—— Geraint Lewis

不知道是否是小时候科幻电影看得比较多，时常觉得世界是一个大的程序框架，程序员设立了各种程序运行最基本的规则，如牛顿力学、量子力学、智能方程等【由于自己理论水平不足，不太清楚解释世界各方面最重要的一些物理学基本公式】，又设计出最基本的粒子【哎，不知道是啥】，然后让整个程序开始运转，于是基本粒子按照规则慢慢演化，逐步形成了现在的世界，而人类目前一直在做只是去不断的探索程序员设计的那些最基本的规则，而程

乘风御水·2020-01-03 23:22

深度学习的fine-tuning过程

在深度学习过程中，获取数据集后，在搭建自己的网络之前需要进行的是微调，通过别人现有的网络观察自己数据的实验结果，并在此基础上，初步确定自己网络的大体结构，其中微调的步骤主要有以下几步：1)获取已有网络的结构（prototxt）和网络参数（caffemodel），可以从网上下载经典的网络模型与网络结构2)准备好自己的数据集，一般情况下转换成为lmdb格式。3)关于均值的计算，可以直接用caffe中的

云时之间·2019-12-31 01:03

Tensorflow模型的保存与恢复

4）如何使用预训练好的模型（importedpretrainedmodels）来用于fine-tuning和modification1.Tensorflow模型是什么？当你已经训练好一个神经网络之

JunsorPeng·2019-12-30 09:28

从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史——读书笔记

之后用trainingsetC训练网络，这里存在FROZEN和FINE-TUNING两种方式F

ocplease·2019-12-15 02:02

Pytorch Fine-tuning

pytorch使用预训练过的ResNet进行微调，训练新的数据集CIFAR100from__future__importprint_functionimporttorchimporttimeimporttorch.nnasnnimporttorch.nn.functionalasFimporttorchvisionimporttorchvision.transformsastransformsfr

hyhchaos·2019-12-13 06:42

深度学习入门篇--手把手教你用 TensorFlow 训练模型

Tensorflow在更新1.0版本之后多了很多新功能，其中放出了很多用tf框架写的深度网络结构（https://github.com/tensorflow/models），大大降低了开发难度，利用现成的网络结构，无论fine-tuning

腾讯云加社区·2019-11-06 14:05

推荐频道

fine-tuning

“Universal Language Model Fine-tuning for Text Classification”论文解读

NLP ----- Bert with Sentiment Analysis

AI实战：迁移学习之使用ResNet做分类

Tensorflow Fine-Tuning 的一些说明

项目实战（八） - - BERT实现与Fine-tuning

【NLP】GPT原理

Bert踩坑总结—————分类准确率过低

OpenAI-GPT（Generative Pre-Training）详解

NLP论文解读：GPT-2

深度学习笔记16_猫狗案例优化_使用预训练模型（fine-tuning）

Deep learning系列（十三）Transfer learning 和 caffe Fine-tuning

PyTorch(五)：迁移学习(微调 Fine-Tuning)、获取PyTorch预训练模型

深度学习笔记（一）：模型微调fine-tune

卷积神经网络全连接层转换为卷积层获得heatmap

AI实战：深度学习模型压缩加速方法汇总

PyTorch之利用预训练模型进行Fine-tuning教程

解决Caffe训练过程中loss不变问题

fine-tuning

Caffe使用step by step：caffe框架下的基本操作和分析

bert模型裁剪及标签平滑在短文本意图识别中的效果分析

ssd_mobilenet_v1的fine-tuning成果展示

YOLOv3的训练、测试、fine-tuning过程中遇到的问题

解决使用Keras对mobileNet进行迁移学习(fine-tining)出现的过拟合问题（验证集正确率过低）

Caffe学习笔记7：模型微调

tensorflow BERT学习记录--使用自己的训练集--run_classifier.py

对YOLOv3训练出的权重文件做网络裁剪后的fine-tuning操作记录总结

采用caffe的model在自己的数据上面进行 fine-tuning

利用VGG16网络模块进行迁移学习，实操（附源码）

图像识别——通过tensorflow利用自己的图片数据训练模型——Fine-tuning a model from an existing checkpoint

深度学习入门篇--手把手教你用 TensorFlow 训练模型

Caffe fine-tuning 微调网络

论文笔记：Fine-tuning CNN Image Retrieval with No Human Annotation

使用Google免费GPU进行BERT模型fine-tuning

无监督领域自适应（Unsupervised Domain Adaptation）介绍

用tensorflow中slim下的分类网络训练自己的数据集以及fine-tuning(可以直接实战使用)

keras系列︱迁移学习：利用InceptionV3进行fine-tuning及预测、完美案例（五）

Fine-Tuning CNN Image Retrieval with No Human Annotation

2018-12-24

通俗易懂地了解faster RCNN(RPN区域建议网络)

深度学习_DBN模型_图像分类

[译]简明教程：Tensorflow模型的保存与恢复

代码补全快餐教程(2) - 预训练模型的加载和使用

预训练语言模型 | (3) Bert

bert生成句向量

Physics, fine-tuning and life （宇宙是为我定制的吗？物理学，微调和生命）”—— Geraint Lewis

深度学习的fine-tuning过程

Tensorflow模型的保存与恢复

从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史——读书笔记

Pytorch Fine-tuning

深度学习入门篇--手把手教你用 TensorFlow 训练模型