PyTorch 从tensor.grad 看 backward（权重参数） 和 gradient accumulated
1. 新建一个自变量 tensor x
import torch
x = torch.ones(1, requires_grad=True)
print(x)
1. 输出：
tensor([1.], requires_grad=True)
2. 写一个 forward
import torch
x = torch.ones(1, requires_grad=True)
y = x**2
z = x**3
3. y, z 都 backward
import torch
x = torch.ones(1, requires_grad=True)
y = x**2
z = x**3
y.backward()
z.backward()
print(x.grad)
3.输出
tensor([5.])
4. 单独 y backward
import torch
x = torch.ones(1, requires_grad=True)
y = x**2
z = x**3
y.backward()
print(x.grad)
4. 输出
tensor([2.])
5. 单独 z backward
import torch
x = torch.ones(1, requires_grad=True)
y = x**2
z = x**3
z.backward()
print(x.grad)
5. 输出
tensor([3.])
6. tensor.grad.zero_()
import torch
x = torch.ones(1, requires_grad=True)
y = x**2
y.backward()
print(x.grad)
x.grad.zero_()
z = x**3
z.backward()
print(x.grad)
输出：
tensor([2.])
tensor([3.])
向量形式
注意由于 x 此时不是标量，所以 执行 y.backward（）的时候必须给一个参数。
参数的含义是权重。
gradient=torch.ones(y.size()) 中的 gradient 参数指定了每个 y 元素对于 x的梯度的权重。在这里，gradient 设置为全1的张量，表示每个 y 元素对于损失函数的梯度权重都是1。
这意味着所有的梯度将被等权重地传播回输入 x。如果你想要为不同的元素分配不同的权重，你可以修改 gradient 参数以实现不同的梯度计算策略。
import torch
x = torch.tensor([[-1.5], [2.7]], requires_grad=True)
print(x)
y = torch.empty([3,1])
y[0] = x[0]**2
y[1] = x[1]**3
y[2] = x[1]**4
y.backward(gradient=torch.ones(y.size()))
print(x.grad)
dy0 = 2*x[0]
dy1 = 3*x[1]**2
dy2 = 4*x[1]**3
dy_dx0 = dy0
dy_dx1 = dy1+dy2
print(dy_dx0)
print(dy_dx1)
输出
tensor([[-1.5000],
[ 2.7000]], requires_grad=True)
tensor([[ -3.0000],
[100.6020]])
tensor([-3.], grad_fn=<MulBackward0>)
tensor([100.6020], grad_fn=<AddBackward0>)
权重不一样
import torch
x = torch.tensor([[-1.5], [2.7]], requires_grad=True)
print(x)
y = torch.empty([3,1])
y[0] = x[0]**2
y[1] = x[1]**3
y[2] = x[1]**4
y.backward(gradient=torch.tensor([[0.5],[-2.],[1.5]]))
print(x.grad)
dy0 = 2*x[0]
dy1 = 3*x[1]**2
dy2 = 4*x[1]**3
dy_dx0 = 0.5*dy0
dy_dx1 = -2*dy1+1.5*dy2
print(dy_dx0)
print(dy_dx1)
输出
tensor([[-1.5000],
[ 2.7000]], requires_grad=True)
tensor([[-1.5000],
[74.3580]])
tensor([-1.5000], grad_fn=<MulBackward0>)
tensor([74.3580], grad_fn=<AddBackward0>)