自动求导及实现

自动求导


在我们计算 y 关于 x 的梯度之前，我们需要一个地方来存储梯度。 重要的是，我们不会在每次对一个参数求导时都分配新的内存。

import torch
#创建变量x并为其分配一个初始值。、
x=torch.arange(4.0,requires_grad=True)
print(x)
print(x.grad)
#x是一个长度为4的向量，计算x和x的内积，得到了我们赋值给y的标量输出
y=2*torch.dot(x,x)
print(y)
#接下来，我们可以通过调用反向传播函数来自动计算y关于x每个分量的梯度，并打印这些梯度
y.backward()
print(x.grad)
#在默认情况下，PyTorch会累积梯度，需要清除之前的值
x.grad.zero_()
y=x.sum()
y.backward()
print(x.grad)

输出：

tensor([0., 1., 2., 3.], requires_grad=True)
None
tensor(28., grad_fn=<MulBackward0>)
tensor([ 0.,  4.,  8., 12.])
tensor([1., 1., 1., 1.])