pytorch学习笔记——loss.backward()、optimizer.step()、scheduler.step()

loss.backward()进行反向传播求出梯度
optimizer进行参数管理与更新，所以optimizer放在backward后面用求出的梯度进行参数更行，记住step之前要进行optimizer.zero_grad()，否则用的梯度包含上一个batch的，相当于batch_size为之前的两倍，所以optimizer.step()是用在batch里的
scheduler.step()是用来更新学习率的，所以用在epoch里
参考资料： Pytorch optimizer.step() 和loss.backward()和scheduler.step()的关系与区别 （Pytorch 代码讲解）
pytorch学习笔记(1)-optimizer.step()和scheduler.step()