首先:清零代码:optmizer.zero_grad()
optimizer.zero_grad() ## 梯度清零
preds = model(inputs) ## inference
loss = criterion(preds, targets) ## 求解loss
loss.backward() ## 反向传播求解梯度
optimizer.step() ## 更新权重参数
由于pytorch的动态计算图,使用loss.backward()和optimizer.step()进行梯度下降更新参数时,梯度并不会自动清零,而且两个操作是独立操作。其中。backward()反向传播求解梯度。step()更新权重参数。
说明pytorch每一步都是独立功能的操作,因此需要梯度清零。如果不进行optimizer.zero_grad()这一步操作,backward()时就会累加梯度。
因此pytorch将此步骤独立出来,可以更加灵活