pytorch求导总结(torch.autograd)

1、Autograd 求导机制

    我们在用神经网络求解PDE时, 经常要用到输出值对输入变量(不是Weights和Biases)求导; 例如在训练WGAN-GP 时, 也会用到网络对输入变量的求导,pytorch中通过 Autograd 方法进行求导,其求导规则如下:

1.1当x为向量,y为一标量时

           

通过autograd 计算的梯度为:

                                      

1.2先假设x,y为一维向量

                         ​​​​​​​              

其对应的jacobi(雅可比)矩阵为

                 pytorch求导总结(torch.autograd)_第1张图片

grad_outputs 是一个与因变量 y 的shape 一致的向量

                       

在给定grad_outputs 后,通过Autograd 方法 计算的梯度如下:

           pytorch求导总结(torch.autograd)_第2张图片   ​​​​​​​   

 

1.3 当 x 为1维向量,Y为2维向量

                  

给出grad_outputs  与Y的shape一致                 

                            

Y 与x的jacobi矩阵

                                   ​​​​​​​

        ​​​​​​​        ​​​​​​​        ​​​​​​​

则 Y 对 x 的梯度:        

                         ​​​​​​​                 pytorch求导总结(torch.autograd)_第3张图片

1.4 当 X ,Y均为2维向量时

        ​​​​​​​                            pytorch求导总结(torch.autograd)_第4张图片     

        ​​​​​​​        pytorch求导总结(torch.autograd)_第5张图片

1.5 当X  Y为更高维度时,可以按照上述办法转化为低维度的求导

值得注意的是:

  • 求导后的梯度shape总与自变量X保持一致
  • 对自变量求导的顺序并不会影响结果,某自变量的梯度值会放到该自变量原来相同位置
  • 梯度是由每个自变量的导数值组成的向量,既有大小又有方向
  • grad_outputs 与 因变量Y的shape一致,每一个参数相当于对因变量中相同位置的y进行一个加权。

2 pytorch求导方法

2.1 在求导前需要对需要求导的自变量进行声明

2.2 torch.autograd.gard()

grad =  autograd.grad( outputs, inputs, grad_outputs=None, retain_graph=None,    create_graph=False, only_inputs=True, allow_unused=False )

参数解释:

outputs:求导的因变量 Y

inputs : 求导自变量 X

grad_outputs:

  • 当outputs为标量时,grad_outputs=None , 不需要写,
  • 当outputs 为向量,需要为其声明一个与outputs相同shape的参数矩阵,该矩阵中的每个参数的作用是,对outputs中相同位置的y进行一个加权。 不然会报错

pytorch求导总结(torch.autograd)_第6张图片

pytorch求导总结(torch.autograd)_第7张图片

  •     autograd.grad()返回的是元组数据类型,元组的长度与inputs长度相同,元组中每个单位的shape与相同位置的inputs相同

pytorch求导总结(torch.autograd)_第8张图片

pytorch求导总结(torch.autograd)_第9张图片

retain_graph:

        1、当求完一次梯度后默认会把图信息释放掉,都会free掉计算图中所有缓存的buffers,当要连续进行几次求导时,可能会因为前面buffers不存在而报错。

pytorch求导总结(torch.autograd)_第10张图片

因为第二个梯度计算z对x的导数,需要y对x的计算导数的缓存信息,但是在计算grad1后,保存信息被释放,找不到了,因此报错。

修改如下:

pytorch求导总结(torch.autograd)_第11张图片

pytorch求导总结(torch.autograd)_第12张图片

        2、一般计算的最后一个梯度可以不需要保存计算图信息,这样在计算后可以及时释放掉占用的内存

        3、在pytorch中连续多次调用backward()也会出现这样的问题,对中间的backwad(),需要保持计算图信息

pytorch求导总结(torch.autograd)_第13张图片

create_graph: 若要计算高阶导数,则必须选为True

求二阶导方法如下:

pytorch求导总结(torch.autograd)_第14张图片

allow_unused: 允许输入变量不进入计算

2.3 torch.backward()

def backward(

                        gradient: Optional[Tensor] = None,

                        retain_graph: Any = None,

                        create_graph: Any = False,

                        inputs: Any = None) -> Any

                                                )

  • 如果需要计算导数,可以在tensor上直接调用.backward(),会返回该tensor所有自变量的导数。通过name(自变量名).grad 可以获得该自变量的梯度
  • 如果tensor是标量,则backward()不需要指定任何参数
  • 如果tensor是向量,则backward()需要指定gradient一个与tensorshape相同的参数矩阵,即这里的gradient 同 grad_outputs 作用和形式完全一样。

pytorch求导总结(torch.autograd)_第15张图片

pytorch求导总结(torch.autograd)_第16张图片

你可能感兴趣的:(pytorch,深度学习)