翻了很多博客和论坛，一般冻结参数都包括两步：设置参数的属性为False，即requires_grad=False定义优化器时过滤掉不进行梯度更新的参数，一般都是这样optimizer.SGD(filter(lambdap:p.requires_grad,model.parameters()),lr=1e-3)上面就不细讲了，百度大部分都是这种。先说下我的任务：我有一个模型由encoder和deco

方法1：1，开启tf的训练，有ckpt生成时停止，使用以下语句获得相关层变量的全称：var_names=tf.contrib.framework.list_variables("/Users/kylefan/hobotrl/log/AutoExposureDPGVGG/model.ckpt-0")2，手工制作一个ckpt文件：挨个对上一步中的变量赋值，然后tf.saver….保存下来这个新的ckp

在迁移学习中，我们需要对预训练的模型进行fine-tune，而pytorch已经为我们提供了alexnet、densenet、inception、resnet、squeezenet、vgg的权重，这些模型会随

曾写过bertcs服务方式的调用方法：https://blog.csdn.net/renyuanfang/article/details/86701148，这种方式优点是操作简单，但也有很大的缺陷，不能fine-tune

本文仅为个人对论文的一点理解，如果有不对的地方烦请指正戳我看论文原文前置知识1.大型预训练模型如GPT2的构造、原理、训练过程2.Huggingface做的对大型预训练模型进行的fine-tune过程戳我看论文如果这两个知识你都有了解的话这篇论文就不难理解了

问题7：在预训练模型基础上fine-tune时，loss变为nana.梯度爆炸造成loss爆炸原因很简单，学习率较高的情况下，直接影响到每次更新值的程度比较大，走的步伐因此也会大起来。

在这篇文章之后，我计划还要再写如何fine-tune和制作自己的数据集，以及用自己的数据集fine-tune。（一）数据准备（以SIFT-Fl

前言尝试过迁移学习的同学们都知道，Tensorflow的模型保存加载有不同格式，使用方法也不一样，新手会觉得乱七八糟，所以本文做一个梳理。从模型的保存到加载，再到使用，力求理清这个流程。1.保存Tensorflow的保存分为三种：1.checkpoint模式；2.pb模式；3.saved_model模式。1.1先假设有这么个模型首先假定我们已经有了这样一个简单的线性回归网络结构：importten

在GPT出现之后，通用的预训练方式是预训练整个网络然后通过fine-tune去改进具体的任务。

本论文方法是在openAI-GPT的基础上进行了一些微小的修改得到的，从模型的角度来讲，只是大幅增大了模型规模，去掉了fine-tune过程，无论是在预训练和预测阶段都是完全的无监督，这点就很不可思议，

整个流程差不多，fine-tune命令：.

如果针对Task1,2,3单独作fine-tune（或者adaption），那参数优化的方向分别为Adap

这样可以通俗理解预训练和fine-tune。bert的预训练貌似是维基百科啥的语料，这个模型会看很多文字资料，这样会把一些语言规律、语言的语义、上下位概念之类的信息

目录加载预训练模型：冻结网络层：冻结预训练模型中的层加载所有预训练模型的层在解决一个任务时，我会选择加载预训练模型并逐步fine-tune。比如，分类任务中，优异的深度学习网络有很多。

Fine-tune冻结指定层fine-tune某些公开模型时，由于我们自己的任务类别数会与公开模型的类别数不同，因此通常的做法是将模型的最后一层的改变，并且固定全连接层之前的模型权重重新训练如下面的例子

上一篇迁移学习的文章下，有朋友问在fine-tune的时候如何固定某些层不参与训练，下去研究并实验了一下，在这儿总结一下：pytorch中关于网络的反向传播操作是基于Variable对象，Variable

最近用keras跑基于resnet50，inception3的一些迁移学习的实验，遇到一些问题。通过查看github和博客发现是由于BN层导致的，国外已经有人总结并提了一个PR（虽然并没有被merge到Keras官方库中），并写了一篇博客，也看到知乎有人翻译了一遍：Keras的BN你真的冻结对了吗当保存模型后再加载模型去预测时发现与直接预测结果不一致也可能是BN层的问题。总结：keras中通常用t

1.转imdb灰度图数据一定要加上--gray，否则训练时报如下错误：GLOG_logtostderr=1$TOOLS/convert_imageset\--resize_height=$RESIZE_HEIGHT\--resize_width=$RESIZE_WIDTH\--shuffle\--gray\$TRAIN_DATA_ROOT\$DATA/train.txt\$EXAMPLE/trai

由于计算资源有限或者训练集较小，但我们又想获得较好较稳定的结果，那么一些已经训练好的模型会对我们有很大帮助，比如AlexNet，googlenet,VGGnet,ResNet等，那我们怎么对这些已经训练好的模型进行fine-tune

深度学习中的fine-tuning一.什么是模型微调1.预训练模型（1）预训练模型就是已经用数据集训练好了的模型。（2）现在我们常用的预训练模型就是他人用常用模型，比如VGG16/19，Resnet等模型，并用大型数据集来做训练集，比如Imagenet,COCO等训练好的模型参数；(3)正常情况下，我们常用的VGG16/19等网络已经是他人调试好的优秀网络，我们无需再修改其网络结构。2.常用的预训

本文基于vgg-16、inception_v3、resnet_v1_50模型进行fine-tune，完成一个二分类模型的训练。

一、以ImageNet数据集下的预训练模型，采用ResNet-18网络模型对UCM数据集进行fine-tune。在数据集训练上，按照一定的train-test比例，这里设置为50%-50%。

利用深度学习的方法进行图像分类及目标检测时，由于自己数据集可能相对较小，直接利用自己的数据集进行网络的训练，非常容易过拟合。在迁移学习中，我们首先在一个基础数据集和基础任务上训练一个基础网络，然后我们再微调一下学到的特征，或者说将它们迁移到第二个目标网络中，用目标数据集和目标任务训练网络。对于计算机视觉领域的图像特征提取的基础卷积网络backbone往往采用在ImageNet数据集上训练得到的预训

在MXNet框架下，如果要在一个预训练的模型上用你的数据fine-tune一个模型（或者叫迁移学习，即你的模型的参数的初始化不再是随机初始化，而是用别人的在大数据集上训练过的模型的参数来初始化你的模型参数

将每层都训练好之后，再结合起来进行训练（fine-tune），这样能够

ECCV2018TsingHuaUniversity&&Face++ZemingLi1.Motivation当前的目标检测模型，不管是one-stage还是two-stage，都是采用的ImageNet分类数据集上预训练的分类模型来在检测数据集上fine-tune

如：测试、部署、拿别的模型进行fine-tune等。保存模型是整个内容的第一步，操作十分简单，只需要创建一个saver，并在一个Session里完成保存。

以下问参考文献以及链接keras面向小数据集的图像分类（VGG-16基础上fine-tune）实现vgg16fine-tune代码实现keras系列︱图像多分类训练与利用bottleneckfeatures

ERNIE1.0如何将知识(knowledge)信息融入到模型训练中，一种方式是将知识信息作为输入，成本是其他人使用的时候也要构建知识库，并且fine-tune和pre-train的知识库分布不一致，fine-tune

解决方法大约有两种：一是扩充数据集；二是fine-tune已经训练好的SSDmodel，

先通过无监督学习在大规模语料上进行Pre-Training，再通过Fine-tune的方式，在一定语料上进行有监督学习，进行下游任务的学习，是NLP领域近来的以大趋势。

使用PaddleHub进行图像分类简介加载预训练模型数据准备配置策略迁移组网Fine-tune预测总结与心得体会0简介图像分类是计算机视觉的重要领域，它的目标是将图像分类到预定义的标签。

文献地址：https://arxiv.org/pdf/1810.04805.pdf摘要：bert是用transformer的encoder来构建的双向预训练模型，训练过程是无监督的，并且可以通过fine-tune

学习数据深度学习：前言领域、强调模型深度学习与传统神经网络之间的区别和联系：联系：分层结构区别：训练机制（初始值）深度学习的训练过程无监督预训练（LayerwisePre-Training）+有监督微调（fine-tune

BidirectionalEncoderRepresentationsfromTransformers，主要分为两个部分：1训练语言模型（languagemodel）的预训练（pretrain）部分，2训练具体任务(task)的fine-tune

在学习pytorch然后刷官方的pytorch-tutorials到讲解Image/Finetune_Torchvision_Models时，看到TransferLearning,它在提及fine-tune

迁移学习背景：在传统的机器学习的框架下，学习的任务就是在给定充分训练数据的基础上来学习一个分类模型；然后利用这个学习到的模型来对测试文档进行分类与预测。然而，我们看到机器学习算法在当前的Web挖掘研究中存在着一个关键的问题：一些新出现的领域中的大量训练数据非常难得到。我们看到Web应用领域的发展非常快速。大量新的领域不断涌现，从传统的新闻，到网页，到图片,再到博客、播客等等。传统的机器学习需要对每

当前利用预训练模型（pretrainmodels）在下游任务中进行fine-tune，已经成为了大部分NLP任务的固定范式。

在alexnet的权值迁移成功后，下一步要做的就是将这个网络fine-tune成适用于自己的数据集的网络。

通过使用预训练模型可以大大减少模型训练对数据的依赖，仅需要使用少量数据在下游任务中微调（Fine-tune），就可以获得效果非常优秀的模型。不过如果希望获得更好的效果，该怎么办呢？

这一过程后通常还需要一个fine-tune的过程。其中的难点就是怎么从大的张量中保留最有价值的参数留下来，作为一个很好的初始参数值。（二）用张量分解得到的因

HowtoFine-TuneBERTforTextClassification论文笔记论文地址：HowtoFine-TuneBERTforTextClassification？BERT在NLP任务中效果十分优秀，这篇文章对于BERT在文本分类的应用上做了非常丰富的实验，介绍了一些调参以及改进的经验，进一步挖掘BERT的潜力。实验主要在8个被广泛研究的数据集上进行，在BERT-base模型上做了验证

前面我们尝试了数据处理部分的代码复现，一般来说此时代码所需要的基础的环境已经配置完成，并且绝大多数文件也都已经下载完成。不过在复现训练代码的时候依旧出现了一些问题。采坑记录，希望帮到后来人！**一、bert-base-uncased下载**因为我们使用的pytorch版本的bert预训练模型，因此需要下载预训练文件，当我们运行代码的时候就会自动下载。当时通常需要科学上网，一般用国内的网络是下不动的

本论文是extractivesummarization摘要提取通常被定义为一个二分类问题，二分类问题表明这个句子是否在这个摘要中。我们的提取模型是建立在这个编码器之上，通过堆叠几个句子间Transformer来捕获用于提取句子的文档级特征。抽取结构使用encoder-decoder结构，将同一个经过预先训练的BERT编码器与随机初始化的Transformer结合起来。我们设计了一个新的训练计划，将

文章目录概括一、微调原理二、使用slim微调模型三、数据准备定义训练数据准备训练文件夹四、开始训练参数解释五、验证模型准确率参数解释六、总结概括本文主要是对已经预训练好的ImageNet图像识别模型进行微调(Fine-tune

主要采用fine-tune方法，因为数据集较小，采用迁移学习能提高特征提取准确度但是top层需要我们自己设计，所以top的权重是正态初始化的，不一定符合最优的一个权重，所以一开始不能直接全图fine-tune

论文提出了新的少样本目标检测算法，创新点包括Attention-RPN、多关系检测器以及对比训练策略，另外还构建了包含1000类的少样本检测数据集FSOD，在FSOD上训练得到的论文模型能够直接迁移到新类别的检测中，不需要fine-tune

为了处理好这个任务，论文主要有两个贡献：提出一个通用的few-show目标检测算法，通过精心设计的对比训练策略以及RPN和检测器中加入的attention模块，该网络能够榨干目标间的匹配关系，不需要fine-tune

在解决一个任务时，我会选择加载预训练模型并逐步fine-tune。比如，分类任务中，优异的深度学习网络有很多。

importmatplotlibasmplimportmatplotlib.pyplotaspltimportnumpyasnpimportosimportpandasaspdimportsklearnimportsysimporttensorflowastfimporttimefromtensorflowimportkerasfromPILimportImage%matplotlibinline