pytorch使用笔记|torch.optim模块简介(内含optimizer和lr_schedular)
torch.optim是一个用于实现优化算法的包,支持常见的优化算法。本文介绍一下这个包下面的一些常见内容,如optimizer和lr_scheduler的构造和使用。optimizeroptimizer用于根据已得到的梯度来更新网络参数。optimizer(优化器)的构造:构造优化器需要传入一个包含要学习参数的迭代器,此外还有一些学习策略参数如学习率等。以常用的两个优化器SGD和Adam为例:o