PyTorch常见的优化器

前言

PyTorch学习率调整策略通过torch.optim.lr_scheduler接口实现。torch.optim是一个实现了各种优化算法的库。大部分常用的方法得到支持，并且接口具备足够的通用性，使得未来能够集成更加复杂的方法。
参考连接：https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-optim/

一、optimizer构建

首先需要构建一个optimizer对象。这个对象能够保持当前参数状态并基于计算得到的梯度进行参数更新。当然构建的Optimizer，必须是Variable对象的iterable，而且是可以传入优化参数的类型。例如可以设置学习率，权重衰减，等等。

optimizer = optim.SGD(model.parameters(), lr = 0.01, momentum=0.9)
optimizer = optim.Adam([var1, var2], lr = 0.0001)

当我们想指定每一层的学习率时，我们可以这样做，不要直接传入Variable的iterable，而是传入dict的iterable。每一个dict都分别定 义了一组参数，并且包含一个param键，这个键对应参数的列表。其他的键应该optimizer所接受的其他参数的关键字相匹配，并且会被用于对这组参数的 优化。

# model.base的参数将会使用1e-2的学习率，model.classifier的参数将会使用1e-3的学习率，并且0.9的momentum将会被用于所 有的参数。
optim.SGD([{'params': model.base.parameters()},
          {'params': model.classifier.parameters(), 'lr': 1e-3}], 
          lr=1e-2, momentum=0.9)

所有的optimizer都实现了step()方法，这个方法会更新所有的参数。它能按两种方式来使用：

optimizer.step()

一旦梯度被如backward()之类的函数计算好后，我们就可以调用这个函数。

for input, target in dataset:
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    optimizer.step()

一些优化算法例如Conjugate Gradient和LBFGS需要重复多次计算函数，因此你需要传入一个闭包去允许它们重新计算你的模型。这个闭包应当清空梯度， 计算损失，然后返回。

for input, target in dataset:
    def closure():
        optimizer.zero_grad()
        output = model(input)
        loss = loss_fn(output, target)
        loss.backward()
        return loss
    optimizer.step(closure)

二、几种常见的优化器

1.Adadelta

class torch.optim.Adadelta(params, lr=1.0, rho=0.9, eps=1e-06, weight_decay=0)[source]
params (iterable) – 待优化参数的iterable或者是定义了参数组的dict
rho (float, 可选) – 用于计算平方梯度的运行平均值的系数（默认：0.9）
eps (float, 可选) – 为了增加数值计算的稳定性而加到分母里的项（默认：1e-6）
lr (float, 可选) – 在delta被应用到参数更新之前对它缩放的系数（默认：1.0）
weight_decay (float, 可选) – 权重衰减（L2惩罚）（默认: 0）

params (iterable)	待优化参数的iterable或者是定义了参数组的dict
rho (float, 可选)	用于计算平方梯度的运行平均值的系数（默认：0.9）
lr (float, 可选)	为了增加数值计算的稳定性而加到分母里的项（默认：1e-6）
weight_decay (float, 可选)	权重衰减（L2惩罚）（默认: 0）

2.Adagrad

class torch.optim.Adagrad(params, lr=0.01, lr_decay=0, weight_decay=0)[source]

• params (iterable) – 待优化参数的iterable或者是定义了参数组的dict
• lr (float, 可选) – 学习率（默认: 1e-2）
• lr_decay (float, 可选) – 学习率衰减（默认: 0）
• weight_decay (float, 可选) – 权重衰减（L2惩罚）（默认: 0）

3.Adam

class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0)[source]

• params (iterable) – 待优化参数的iterable或者是定义了参数组的dict
• lr (float, 可选) – 学习率（默认：1e-3）
• betas (Tuple[float, float], 可选) – 用于计算梯度以及梯度平方的运行平均值的系数（默认：0.9，0.999）
• eps (float, 可选) – 为了增加数值计算的稳定性而加到分母里的项（默认：1e-8）
• weight_decay (float, 可选) – 权重衰减（L2惩罚）（默认: 0）

4.Adamax

class torch.optim.Adamax(params, lr=0.002, betas=(0.9, 0.999), eps=1e-08, weight_decay=0)[source]

• params (iterable) – 待优化参数的iterable或者是定义了参数组的dict
• lr (float, 可选) – 学习率（默认：2e-3）
• betas (Tuple[float, float], 可选) – 用于计算梯度以及梯度平方的运行平均值的系数
• eps (float, 可选) – 为了增加数值计算的稳定性而加到分母里的项（默认：1e-8）
• weight_decay (float, 可选) – 权重衰减（L2惩罚）（默认: 0）

5.ASGD

class torch.optim.ASGD(params, lr=0.01, lambd=0.0001, alpha=0.75, t0=1000000.0, weight_decay=0)[source]

• params (iterable) – 待优化参数的iterable或者是定义了参数组的dict
• lr (float, 可选) – 学习率（默认：1e-2）
• lambd (float, 可选) – 衰减项（默认：1e-4）
• alpha (float, 可选) – eta更新的指数（默认：0.75）
• t0 (float, 可选) – 指明在哪一次开始平均化（默认：1e6）
• weight_decay (float, 可选) – 权重衰减（L2惩罚）（默认: 0）

6.LBFGS

class torch.optim.LBFGS(params, lr=1, max_iter=20, max_eval=None, tolerance_grad=1e-05, tolerance_change=1e-09, history_size=100, line_search_fn=None)[source]

• lr (float) – 学习率（默认：1）

• max_iter (int) – 每一步优化的最大迭代次数（默认：20）)

• max_eval (int) – 每一步优化的最大函数评价次数（默认：max * 1.25）

• tolerance_grad (float) – 一阶最优的终止容忍度（默认：1e-5）

• tolerance_change (float) – 在函数值/参数变化量上的终止容忍度（默认：1e-9）

• history_size (int) – 更新历史的大小（默认：100）

7.RMSprop

class torch.optim.RMSprop(params, lr=0.01, alpha=0.99, eps=1e-08, weight_decay=0, momentum=0, centered=False)[source]

• params (iterable) – 待优化参数的iterable或者是定义了参数组的dict

• lr (float, 可选) – 学习率（默认：1e-2）

• momentum (float, 可选) – 动量因子（默认：0）

• alpha (float, 可选) – 平滑常数（默认：0.99）

• eps (float, 可选) – 为了增加数值计算的稳定性而加到分母里的项（默认：1e-8）

• centered (bool, 可选) – 如果为True，计算中心化的RMSProp，并且用它的方差预测值对梯度进行归一化

• weight_decay (float, 可选) – 权重衰减（L2惩罚）（默认: 0）

8.Rprop

class torch.optim.Rprop(params, lr=0.01, etas=(0.5, 1.2), step_sizes=(1e-06, 50))[source]

• params (iterable) – 待优化参数的iterable或者是定义了参数组的dict

• lr (float, 可选) – 学习率（默认：1e-2）

• etas (Tuple[float, float], 可选) – 一对（etaminus，etaplis）,它们分别是乘法的增加和减小的因子（默认：0.5，1.2）

• step_sizes (Tuple[float, float], 可选) – 允许的一对最小和最大的步长（默认：1e-6，50）

9.SGD

class torch.optim.SGD(params, lr=, momentum=0, dampening=0, weight_decay=0, nesterov=False)[source]

• params (iterable) – 待优化参数的iterable或者是定义了参数组的dict
• lr (float) – 学习率
• momentum (float, 可选) – 动量因子（默认：0）
• weight_decay (float, 可选) – 权重衰减（L2惩罚）（默认：0）
• dampening (float, 可选) – 动量的抑制因子（默认：0）
• nesterov (bool, 可选) – 使用Nesterov动量（默认：False）

用法

optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9)
optimizer.zero_grad()
loss_fn(model(input), target).backward()
optimizer.step()