optimizer和loss.backward()相关函数

optimizer和loss.backward()相关函数_第1张图片

optimizer.zero_grad() # 梯度清零(一定要先进行梯度清零,这样tensor里面的grad就不会累加)
loss.backward()是用来求导的
optimizer.step()一般来说根据求来的导数进行梯度下降算法来更新参数

上面的顺序步骤不能变

你可能感兴趣的:(PyTorch)