pytorch 显示网络结构,显示优化器的设置代码,

最近注意到在一些caffe模型中,偏置项的学习率通常设置为普通层的两倍。具体原因可以参考(https://datascience.stackexchange.com/questions/23549/why-is-the-learning-rate-for-the-bias-usually-twice-as-large-as-the-the-lr-for-t),貌似没有文章提到这个。
Pytorch中也提供了对不同层设置不同学习率以及衰减因子的方法。
主要方法是传递一个dict给optimizer,而不是list。
pytorch 显示网络结构,显示优化器的设置代码,_第1张图片

下面以restnet18进行说明:
首先加载resnet18 模型,并打印其参数设置:

import torch, torchvision
model = torchvision.models.resnet18()
paras = dict(model.named_parameters())

for k, v in paras.items():
print(k.ljust(30), str(v.shape).ljust(30), ‘bias:’, v.requires_grad)

输出为:
pytorch 显示网络结构,显示优化器的设置代码,_第2张图片

设置优化器参数,并打印

paras_new = []
for k, v in paras.items():
     if 'bias' in k:
        paras_new += [{'params': [v], 'lr': 0.02, 'weight_decay': 0}]
     else:
        paras_new += [{'params': [v], 'lr': 0.01, 'weight_decay': 0.00004}]
optimizer = torch.optim.SGD(paras_new, momentum=0.9)

for p in optimizer.param_groups:
outputs = ‘’
for k, v in p.items():
if k is ‘params’:
outputs += (k + ': ’ + str(v[0].shape).ljust(30) + ’ ')
else:
outputs += (k + ': ’ + str(v).ljust(10) + ’ ')
print(outputs)

结果为:
pytorch 显示网络结构,显示优化器的设置代码,_第3张图片

你可能感兴趣的:(pytorch)