torch.optim.SGD()

其中的SGD就是optim中的一个算法(优化器):随机梯度下降算法

PyTorch 的优化器基本都继承于 "class Optimizer",这是所有 optimizer 的 base class

torch.optim是一个实现了各种优化算法的库。大部分常用的方法得到支持,并且接口具备足够的通用性,使得未来能够集成更加复杂的方法。

为了使用torch.optim,你需要构建一个optimizer对象。这个对象能够保持当前参数状态并基于计算得到的梯度进行参数更新。

动手学深度学习-多层感知机中:updater = torch.optim.SGD(params, lr=lr)。其中的updater就是一个optimizer对象。

torch.optim.SGD()_第1张图片

params (iterable) – 待优化参数的iterable(w和b的迭代) 或者是定义了参数组的dict
lr (float) – 学习率
momentum (float, 可选) – 动量因子(默认:0)
weight_decay (float, 可选) – 权重衰减(L2惩罚)(默认:0)
dampening (float, 可选) – 动量的抑制因子(默认:0)
nesterov (bool, 可选) – 使用Nesterov动量(默认:False)

你可能感兴趣的:(pytorch学习文档)