2019-10-12

:
我们令out为 , 因为 所以 所以上面的输出是正确的。

数学上，如果有一个函数值和自变量都为向量的函数 , 那么 关于 的梯度就是一个雅可比矩阵（Jacobian matrix）: 而torch.autograd这个包就是用来计算一些雅克比矩阵的乘积的。例如，如果 是一个标量函数的 的梯度： 那么根据链式法则我们有 关于 的雅克比矩阵就为:

注意：grad在反向传播过程中是累加的(accumulated)，这意味着每一次运行反向传播，梯度都会累加之前的梯度，所以一般在反向传播之前需把梯度清零。