二、pytorch核心概念：2.自动微分机制

本博客是阅读eat pytorch in 20 day第二章的个人笔记

自动微分机制

1. 利用backward方法求导数
backward方法求梯度，梯度结果存在变量的grad属性下。因变量需要是标量，如果计算结果不是标量，需要点乘一个同样大小的全1矩阵变成标量，需要把这个矩阵传入到backward里面。

y.backward()#  y是标量
y.backward(gradient = gradient)# y是非标量
#也可以先计算成标量，再backward
z = torch.sum(y*gradient)
z.backward()

2. 利用autograd.grad方法求导数

torch.autograd.grad(outputs,inputs,grad_outputs,retain_graph,create_graph,olny_inputs,allow_unused)

首先，输出的结果是一个元组。参数分别表示：输出，输入，如果输出不是标量则grad_outputs需要是一个和输出一样的全1矩阵，retain_graph保留计算图，create_graph=True用来计算二阶导数。