自动求梯度
首先给大家介绍几个基本概念：
方向导数：是一个数；反映的是f(x,y)在P0点沿方向v的变化率。
偏导数：是多个数（每元有一个）；是指多元函数沿坐标轴方向的方向导数，因此二元函数就有两个偏导数。
偏导函数：是一个函数；是一个关于点的偏导数的函数。
梯度：是一个向量；每个元素为函数对一元变量的偏导数；它既有大小（其大小为最大方向导数），也有方向。
摘自《方向导数与梯度》
梯度从本质上来说也是导数的一种，实在不好理解可以把它当成导数，它的本质也是反应一个函数的变化，我们经常需要对函数求梯度（gradient）。PyTorch提供的autograd包能够根据输入和前向传播过程自动构建计算图，并执行反向传播。
概念
Tensor是PyTorch的核心类，如果将其属性.requires_grad设置为True，它将开始追踪(track)在其上的所有操作（这样就可以利用链式法则进行梯度传播了）。完成计算后，可以调用.backward()来完成所有梯度计算。此Tensor的梯度将累积到.grad属性中。
注意在y.backward()时，如果y是标量，则不需要为backward()传入任何参数；否则，需要传入一个与y同形的Tensor。
如果不想要被继续追踪，可以调用.detach()将其从追踪记录中分离出来，这样就可以防止将来的计算被追踪，这样梯度就传不过去了。此外，还可以用with torch.no_grad()将不想被追踪的操作代码块包裹起来，这种方法在评估模型的时候很常用，因为在评估模型时，我们并不需要计算可训练参数（requires_grad=True）的梯度。
Function是另外一个很重要的类。Tensor和Function互相结合就可以构建一个记录有整个计算过程的有向无环图（DAG）。每个Tensor都有一个.grad_fn属性，该属性即创建该Tensor的Function, 就是说该Tensor是不是通过某些运算得到的，若是，则grad_fn返回一个与这些运算相关的对象，否则是None。
测试
创建一个Tensor并设置requires_grad=True:
x = torch.ones(2, 2, requires_grad=True)
print(x)
print(x.grad_fn)
输出如下：
tensor([[1., 1.],
[1., 1.]], requires_grad=True)
None
运算操作：
y = x + 2
print(y)
print(y.grad_fn)
z = y * y * 3
out = z.mean()
print(z, out)
输出如下：
tensor([[3., 3.],
[3., 3.]], grad_fn=)
tensor([[27., 27.],
[27., 27.]], grad_fn=) tensor(27., grad_fn= )
注意x是直接创建的，所以它没有grad_fn, 而y是通过一个加法操作创建的，所以它有一个为
像x这种直接创建的称为叶子节点，叶子节点对应的grad_fn是None。
print(x.is_leaf, y.is_leaf) # True False
通过.requires_grad_()来用in-place的方式改变requires_grad属性：
a = torch.randn(2, 2) # 缺失情况下默认 requires_grad = False
a = ((a * 3) / (a - 1))
print(a.requires_grad) # False
a.requires_grad_(True)
print(a.requires_grad) # True
b = (a * a).sum()
print(b.grad_fn)
输出如下：
False
True
上面是关于梯度的一些性质，下面介绍一些它的计算之类的。
因为out是一个标量，所以调用backward()时不需要指定求导变量：
out.backward() # 等价于 out.backward(torch.tensor(1.))
print(x.grad)
输出为：
tensor([[4.5000, 4.5000],
[4.5000, 4.5000]])
这点想必学过高等数学的人都可以轻松的验证，如果不行，可以问我。另外有一点需要特别注意，grad在反向传播过程中是累加的(accumulated)，这意味着每一次运行反向传播，梯度都会累加之前的梯度，所以一般在反向传播之前需把梯度清零。
# 再来反向传播一次，注意grad是累加的
out2 = x.sum()
out2.backward()
print(x.grad)
out3 = x.sum()
x.grad.data.zero_()
out3.backward()
print(x.grad)
输出为：
tensor([[5.5000, 5.5000],
[5.5000, 5.5000]])
tensor([[1., 1.],
[1., 1.]])
那么上面为什么说在y.backward()时，如果y是标量，则不需要为backward()传入任何参数；否则，需要传入一个与y同形的Tensor? 简单来说就是为了避免向量（甚至更高维张量）对张量求导，而转换成标量对张量求导。举个例子，假设形状为 m x n 的矩阵 X 经过运算得到了 p x q 的矩阵 Y，Y 又经过运算得到了 s x t 的矩阵 Z。那么按照前面讲的规则，dZ/dY 应该是一个 s x t x p x q 四维张量，dY/dX 是一个 p x q x m x n的四维张量。问题来了，怎样反向传播？怎样将两个四维张量相乘？？？这要怎么乘？？？就算能解决两个四维张量怎么乘的问题，四维和三维的张量又怎么乘？导数的导数又怎么求，这一连串的问题，感觉要疯掉…… 为了避免这个问题，我们不允许张量对张量求导，只允许标量对张量求导，求导结果是和自变量同形的张量。所以必要时我们要把张量通过将所有张量的元素加权求和的方式转换为标量，举个例子，假设y由自变量x计算而来，w是和y同形的张量，则y.backward(w)的含义是：先计算l = torch.sum(y * w)，则l是个标量，然后求l对自变量x的导数。
下面给大家举几个栗子：
x = torch.tensor([1.0, 2.0, 3.0, 4.0], requires_grad=True)
y = 2 * x
z = y.view(2, 2)
print(z)
输出为：
tensor([[2., 4.],
[6., 8.]], grad_fn=)
由于现在 z 不是一个标量，所以在调用backward时需要传入一个和z同形的权重向量进行加权求和得到一个标量。
v = torch.tensor([[1.0, 0.1], [0.01, 0.001]], dtype=torch.float)
z.backward(v)
print(x.grad)
输出为：
tensor([2.0000, 0.2000, 0.0200, 0.0020])
另外PyTorch中梯度是累加的，如果在编码过程中需要暂停梯度的记录，也可以进行操作：
x = torch.tensor(1.0, requires_grad=True)
y1 = x ** 2
with torch.no_grad():
y2 = x ** 3
y3 = y1 + y2
print(x.requires_grad)
print(y1, y1.requires_grad) # True
print(y2, y2.requires_grad) # False
print(y3, y3.requires_grad) # True
输出为：
True
tensor(1., grad_fn=) True
tensor(1.) False
tensor(2., grad_fn=) True
可以看到，上面的y2是没有grad_fn而且y2.requires_grad=False的，而y3是有grad_fn的。如果我们将y3对x求梯度的话会是多少呢？
y3.backward()
print(x.grad)
#输出tensor(2.)
这里数学知识比较好的人可能又要发问了，为什么和我算的结果不一样，是不是错的？当然不是，因为y2的定义是被torch.no_grad():包含的，所以与y2有关的梯度是不会回传的，只有与y1有关的梯度才会回传，就是并没有计算y2的。
另外，由于y2.requires_grad=False，所以不能调用 y2.backward()，会报错：
RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn
此外，如果你想要修改tensor的数值，但是又不希望被autograd记录（即不会影响反向传播），那么你可以对tensor.data进行操作。
x = torch.ones(1,requires_grad=True)
print(x.data) # 还是一个tensor
print(x.data.requires_grad) # 但是已经是独立于计算图之外
y = 2 * x
x.data *= 100 # 只改变了值，不会记录在计算图，所以不会影响梯度传播
y.backward()
print(x) # 更改data的值也会影响tensor的值
print(x.grad)
输出为：
tensor([1.])
False
tensor([100.], requires_grad=True)
tensor([2.])