pytorch梯度累加探索

举个简单例子,y=x^{2},求一次梯度为2x=2 (x=1)

import torch
x = torch.tensor(1.0, requires_grad=True)
y1 = x ** 2
y1.backward()
print(x.grad)

输出

tensor(2.)

若我们再求一次导

import torch
x = torch.tensor(1.0, requires_grad=True)
y1 = x ** 2
y1.backward()
print(x.grad)

y1.backward()
print(x.grad)

报错了

  Variable._execution_engine.run_backward(
RuntimeError: Trying to backward through the graph a second time, but the saved intermediate results have already been freed. Specify retain_graph=True when calling backward the first time.

具体报什么错没看懂,估计就是x已经求过导了,再没有改动之前不能再求导。不知道这样理解对不对?

对x进行2次求导

import torch
x = torch.tensor(1.0, requires_grad=True)
y1 = x ** 2
y1.backward()
print('第一次求导:',x.grad)
y2=x**2
y2.backward()
print('第二次求导:',x.grad)

输出

第一次求导: tensor(2.)
第二次求导: tensor(4.)

理论上y_{2}=x^{2},求导结果是2,但是累加上一次对x的导数后就是4. 



(104条消息) PyTorch中的梯度累加_有为少年的博客-CSDN博客

PyTorch 梯度累积小技巧 | XW.Xiong's HomePage (xingwxiong.github.io)

 

你可能感兴趣的:(笔记,pytorch,深度学习,python)