pytorch求导总结（torch.autograd)

1、Autograd 求导机制

    我们在用神经网络求解PDE时， 经常要用到输出值对输入变量（不是Weights和Biases）求导； 例如在训练WGAN-GP 时， 也会用到网络对输入变量的求导，pytorch中通过 Autograd 方法进行求导，其求导规则如下：

1.1当x为向量，y为一标量时

           

通过autograd 计算的梯度为：

                                      

1.2先假设x,y为一维向量

                         ​​​​​​​              

其对应的jacobi(雅可比）矩阵为

                 

grad_outputs 是一个与因变量 y 的shape 一致的向量

                       

在给定grad_outputs 后，通过Autograd 方法 计算的梯度如下:

              ​​​​​​​   

 

1.3 当 x 为1维向量，Y为2维向量

                  

给出grad_outputs  与Y的shape一致                 

                            

Y 与x的jacobi矩阵

                                   ​​​​​​​

        ​​​​​​​        ​​​​​​​        ​​​​​​​

则 Y 对 x 的梯度:        

                         ​​​​​​​                 

1.4 当 X ，Y均为2维向量时

        ​​​​​​​                                 

        ​​​​​​​        

1.5 当X  Y为更高维度时，可以按照上述办法转化为低维度的求导

值得注意的是：

• 求导后的梯度shape总与自变量X保持一致
• 对自变量求导的顺序并不会影响结果，某自变量的梯度值会放到该自变量原来相同位置
• 梯度是由每个自变量的导数值组成的向量，既有大小又有方向
• grad_outputs 与 因变量Y的shape一致，每一个参数相当于对因变量中相同位置的y进行一个加权。

2 pytorch求导方法

2.1 在求导前需要对需要求导的自变量进行声明

2.2 torch.autograd.gard()

grad =  autograd.grad( outputs, inputs, grad_outputs=None, retain_graph=None,    create_graph=False, only_inputs=True, allow_unused=False )

参数解释：

outputs:求导的因变量 Y

inputs : 求导自变量 X

grad_outputs:

• 当outputs为标量时，grad_outputs=None , 不需要写，
• 当outputs 为向量，需要为其声明一个与outputs相同shape的参数矩阵，该矩阵中的每个参数的作用是，对outputs中相同位置的y进行一个加权。 不然会报错

•     autograd.grad()返回的是元组数据类型，元组的长度与inputs长度相同，元组中每个单位的shape与相同位置的inputs相同

retain_graph:

        1、当求完一次梯度后默认会把图信息释放掉，都会free掉计算图中所有缓存的buffers，当要连续进行几次求导时，可能会因为前面buffers不存在而报错。

因为第二个梯度计算z对x的导数，需要y对x的计算导数的缓存信息，但是在计算grad1后，保存信息被释放，找不到了，因此报错。

修改如下：

        2、一般计算的最后一个梯度可以不需要保存计算图信息，这样在计算后可以及时释放掉占用的内存。

        3、在pytorch中连续多次调用backward()也会出现这样的问题,对中间的backwad()，需要保持计算图信息

create_graph: 若要计算高阶导数，则必须选为True

求二阶导方法如下：

allow_unused: 允许输入变量不进入计算

2.3 torch.backward()

def backward(

                        gradient: Optional[Tensor] = None,

                        retain_graph: Any = None,

                        create_graph: Any = False,

                        inputs: Any = None) -> Any

                                                )

• 如果需要计算导数，可以在tensor上直接调用.backward(),会返回该tensor所有自变量的导数。通过name(自变量名).grad 可以获得该自变量的梯度
• 如果tensor是标量，则backward()不需要指定任何参数
• 如果tensor是向量，则backward()需要指定gradient一个与tensorshape相同的参数矩阵，即这里的gradient 同 grad_outputs 作用和形式完全一样。