【PyTorch】PyTorch中的model.zero_grad()和optimizer.zero_grad()使用

在训练Pytorch的时候，我们会使用

model.zero_grad()
optimizer.zero_grad()

首先，这两种方式都是把模型中参数的梯度设为0

当optimizer = optim.Optimizer(net.parameters())时，二者等效，其中Optimizer可以是Adam、SGD等优化器

def zero_grad(self):
        """Sets gradients of all model parameters to zero."""
        for p in self.parameters():
            if p.grad is not None:
                p.grad.data.zero_()

说明

在pytorch中做随机梯度下降时往往会用到zero_grad（）函数，相关代码如下。

optimizer.zero_grad()                       # 将模型的参数梯度初始化为0
outputs=model（inputs）              # 前向传播计算预测值
loss = cost(outputs, y_train)           # 计算当前损失
loss.backward()                               # 反向传播计算梯度
optimizer.step()                               # 更新所有参数

作用

根据pytorch中backward()函数的计算，当网络参量进行反馈时，梯度是累积计算而不是被替换，但在处理每一个batch时并不需要与其他batch的梯度混合起来累积计算，因此需要对每个batch调用一遍zero_grad()将参数梯度置0.

另外，如果不是处理每个batch清除一次梯度，而是两次或多次再清除一次，相当于提高了batch_size，对硬件要求更高，更适用于需要更高batch_size的情况。

参考

• https://zhuanlan.zhihu.com/p/62387047
• https://www.lagou.com/lgeduarticle/74225.html