深度神经网络将requires_grad设为True梯度全为0,step()后还会更新梯度问题的原因
目录问题原因解决方法方法结果问题偶然发现明明将网络中某一层requires_grad设置为True,在loss.backward()后该层的梯度并不为None,反而全是0,并且optimizer.step()前后参数被更新了。原因这是在需要多次使用backward(),step()时会出现的问题,当第一次调用loss.backward(retain_graph=True)时,保留了计算图,因此这个