Pytorch训练网络时调整学习率

为了得到更好的网络，学习率通常是要调整的，即刚开始用较大的学习率来加快网络的训练，之后为了提高精确度，需要将学习率调低一点。如图所示，步长（学习率）太大容易跨过最优解。

代码如下：表示每20个epoch学习率调整为之前的10%

optimizer = optim.SGD(gan.parameters(), 
                                  lr=0.1,
                                  momentum=0.9,
                                  weight_decay=0.0005)

lr = optimizer.param_groups[0]['lr'] * (0.1 ** (epoch // 20))
for param_group in optimizer.param_groups:
    param_group['lr'] = lr
print(optimizer.param_groups[0]['lr'])