1、Convolution层：层类型：Convolution参数：lr_mult:学习率系数，最终的学习率=lr_mult*base_lr,如果存在两个则第二个为偏置项的学习率，偏置项学习率为权值学习率的

参考链接:classtorch.optim.lr_scheduler.CyclicLR(optimizer,base_lr,max_lr,step_size_up=2000,step_size_down

常见的学习率调整策略有几种：1、LambdaLR将每个参数组的学习率设置为初始lr与给定函数的乘积，计算公式是new_lr=base_lr*lmbda(self.last_epoch)#函数原型torch.optim.lr_sche

可采取的方法：1.降低学习率，比如solver.prototxt中的base_lr，降低一个数量级（至少）。如果在你的模型中有多个loss层，就不能降低

10,13,16,30,33,23,30,61,62,45,59,119,116,90,156,198,373,326]ANCHOR_MASKS=[[6,7,8],[3,4,5],[0,1,2]]IGNORE_THRESH=.7NUM_CLASSES=7defget_lr(base_lr

，以防后面每次用到都忘记classLR_Scheduler(object):def__init__(self,optimizer,warmup_epochs,warmup_lr,num_epochs,base_lr

True在configs/ppyoloe/ppyoloe_crn_s_300e_coco.yml添加下find_unused_parameters:true,如下epoch:300LearningRate:base_lr

以前刚入门的时候调参只是从hidden_size，hidden_num，batch_size，lr，embed_size开始调，但是后来才逐渐明白embed_size一般是设置完后不用再调的，比如设定为128后，就不要调了，因为embed_size只是表示将词嵌入到几维的空间而已。lr也一般都有固定值，比如选取优化器Adam的时候，lr=0.001，选取优化器SGD的时候，lr=0.01，hidd

措施：减少base_lr(在solver.prototxt中)至少一个数量级。如果model有多个loss_layer，

pifromtorch.optim.lr_schedulerimport_LRSchedulerclassCustomScheduler(_LRScheduler):def__init__(self,optimizer,base_lr

文件简便的方法训练模型（training)solver.prototxt的文件参数设置caffe在训练的时候，需要一些参数设置，我们一般将这些参数设置在一个叫solver.prototxt的文件里面，如下：base_lr

False)optimizer:优化器lr_lambda:函数或者函数列表last_epoch：默认为-1，学习率更新次数计数；注意断点训练时last_epoch不为-1当last_epoch是-1的时候，base_lr

上篇文章中讲到动态调整学习率之Poly策略，本次讲解另一个较为常用的策略，即训练过程中随着epoch的增加根据设定的epoch_stepepoch\_stepepoch_step对学习率进行衰减操作，具体公式如下所示：lr=base_lr

措施：1.减小solver.prototxt中的base_lr，至少减小一个数量级。

bottom: "data"  top: "conv1"  param {    lr_mult: 1  #lr_mult: 学习率的系数，最终的学习率是这个数乘以solver.prototxt配置文件中的base_lr

这是ssd_pascal.py中的一段代码,因为在读ssd的代码,所以贴的这一段,一般别的solverparam也差不多......solver_param={#Trainparameters//base_lr

lr_policy设置策略调整fixed:保持base_lr不变step:阶梯衰减base_lr*gamma^(floor(iter/step))【需要gamma和step】exp指数衰减base_lr

lr∗wd∗W(t)−lr∗delta(W)−momentum∗(W(t-1)-W(t))=W(t)−lr∗[wd∗W(t)+delta(W)]−momentum∗[W(t-1)-W(t)]其中lr=base_lr

层类型：Convolutionlr_mult:学习率的系数，最终的学习率是这个数乘以solver.prototxt配置文件中的base_lr。

可采取的方法：1.降低学习率，比如solver.prototxt中base_lr，降低一个数量级（至少）。如果在你的模型中有多个loss层，就不能降低

可采取的方法：1.降低学习率，比如solver.prototxt中base_lr，降低一个数量级（至少）。如果在你的模型中有多个loss层，就不能降低

可采取的方法：1.降低学习率，比如solver.prototxt中base_lr，降低一个数量级。如果在你的模型中有多个loss层，就不能降低基础的学习率base_lr，而是需要检

googlenet:63%修改的alexnet:63%darknet19:30%所以选用修改的alexnet，因为修改的alexnet层数较少当base_lr=0.559.9%base_lr=0.0561%

aug"bottom:"img1_aug"top:"conv1a"top:"conv1b"param{lr_mult:1#学习率的系数，最终的学习率是这个数乘以solver.prototxt配置文件中的base_lr

通常在Caffe的网络定义中，某些layer会有如下参数：param{lr_mult:xdecay_mult:y}当令lr_mult=x时，相当于该层的学习率为solver.prototxt中的base_lr

caffe调整学习率的.base_lr是适用于所有层的学习率，而针对单个层，可以通过增加两个blobs_lr,用来调整该层的学习率.一个调整weight的学习率，一个是调整偏执b的学习率。

措施：1.减小solver.prototxt中的base_lr，至少减小一个数量级。

一般来说，在以SGD优化器作为基本优化器，然后根据epoch实现学习率指数下降，代码如下:step=[10,20,30,40]base_lr=1e-4sgd_opt=torch.optim.SGD(model.parameters

test_iter:1000#测试时，需要迭代的次数，即test_iter*batchsize（测试集的）测试集的大小batch_size=64test_interval:500#每迭代多少次进行测试base_lr

图片发自Apphttp://mi.eng.cam.ac.uk/projects/segnet/#demolr_mult：学习率的系数，最终的学习率是这个数乘以solver.prototxt配置文件中的base_lr

学习率变化有以下几种常见策略：base_lr是基础学习率，这里设置为0.1。

学习率lr=(base_lr/8)xnum_gpusx(img_per_gpu/2)其中base_lr是源码中给定的学习率，这是在8张GPU上面，每张GPU上面放2张图片得到的学习率，所以当对应的GPU

可采取的方法：1.降低学习率，比如solver.prototxt中base_lr，降低一个数量级（至少）。如果在你的模型中有多个loss层，就不能降低

solver.prototxt的各个参数的解释如下：base_lr这个参数是用来表示网络的初始学习率的。这个值是一个浮点型实数。lr_policy这个参数是用来表示学习率随着时间是如何变化的。

models/VGGNet/VOC0712/SSD_300x300/test.prototxt"test_iter:619#测试时的迭代次数test_interval:10000#每10000次迭代测试一次base_lr

一般来说，在以SGD优化器作为基本优化器，然后根据epoch实现学习率指数下降，代码如下:step=[10,20,30,40]base_lr=1e-4sgd_opt=torch.optim.SGD(model.parameters

跟数据层的输出相对应，表示输入的数值的属性，因为在数据层中输出的是data属性，卷积层连接的是数据层，故是dataparam{lr_mult:1#对权重参数的定义，W，最终的学习率是solver.prototxt中的base_lr

在caffe的solver文件中，lr_policy不推荐fixed（保持base_lr不变），可以选择如下方案：1、阶跃式的：multist

在caffe的solver文件中，lr_policy不推荐fixed（保持base_lr不变），可以选择如下方案：1、阶跃式的：multist

措施：1.减小solver.prototxt中的base_lr，至少减小一个数量级。如果有多个losslayer，

措施：1.减小solver.prototxt中的base_lr，至少减小一个数量级。

原因：1、基础学习率base_lr可能太大，一般要降低至少一个数量级2、具体哪个层的loss梯度爆炸，具体减小该层的loss_weight3、预训练模型不适合微调解决方法：1、降低基础学习率2、降低具体层的

1.关于学习率solver.txt中记录了一些参数：train_net:"models/pvanet/example_train_384/train.prototxt"base_lr:0.001lr_policy

二者更新办法都是：base_lr*gamma2、

对于一下的solver配置文件：base_lr:0.001display:782gamma:0.1lr_policy:“step”max_iter:78200#训练样本迭代次数=max

test_iter测试集向前传递多少次#batchsize*test_iter=测试集图片数test_iter:100#每100次迭代执行一次测试test_interval:100#基础学习速率，动量，网络权重衰减base_lr

将solver.prototxt文件中的base_lr减小一点之后，这个问题就不再出现了。我一般先将base_lr降为原来的0.1倍，一般这样就可以了，如果实在不行的话就再降10倍。

Fixedlearningrate固定不变base_lr=0.01lr_policy="fixed"Steplearningrate在每迭代stepsize次后减少gamma倍。

参数介绍solver.prototxtnet:"models/bvlc_alexnet/train_val.prototxt" test_iter:1000# test_interval:1000# base_lr

参数介绍solver.prototxtnet:"models/bvlc_alexnet/train_val.prototxt" test_iter:1000# test_interval:1000# base_lr