Pytorch 叶子张量 leaf tensor (叶子节点) (detach)

      在Pytorch中，默认情况下，非叶节点的梯度值在反向传播过程中使用完后就会被清除，不会被保留。只有叶节点的梯度值能够被保留下来。

      对于任意一个张量来说，我们可以用 tensor.is_leaf 来判断它是否是叶子张量（leaf tensor）

      在Pytorch神经网络中，我们反向传播backward()就是为了求叶子节点的梯度。在pytorch中，神经网络层中的权值w的tensor均为叶子节点。它们的require_grad都是True，但它们都属于用户创建的，所以都是叶子节点。而反向传播backward()也就是为了求它们的梯度

       在调用backward()时，只有当requires_grad和is_leaf同时为真时，才会计算节点的梯度值

为什么需要叶子节点？

        那些非叶子节点，是通过用户所定义的叶子节点的一系列运算生成的，也就是这些非叶子节点都是中间变量，一般情况下，用户不回去使用这些中间变量的导数，所以为了节省内存，它们在用完之后就被释放了

在Pytorch的autograd机制中，当tensor的requires_grad值为True时，在backward()反向传播计算梯度时才会被计算。在所有的require_grad=True中，

• 默认情况下，非叶子节点的梯度值在反向传播过程中使用完后就会被清除，不会被保留(即调用loss.backward() 会将计算图的隐藏变量梯度清除)。
• 默认情况下，只有叶子节点的梯度值能够被保留下来。
• 被保留下来的叶子节点的梯度值会存入tensor的grad属性中，在 optimizer.step()过程中会更新叶子节点的data属性值，从而实现参数的更新。

这样可以节省很大部分的显存

上面的话，也就是说，并不是每个requires_grad()设为True的tensor都会在backward的时候得到相应的grad.它还必须为leaf。这就说明. is_leaf=True 成为了在 requires_grad()下判断是否需要保留 grad的前提条件

      只有是叶张量的tensor在反向传播时才会将本身的grad传入的backward的运算中.。如果想得到当前自己创建的，requires_grad为True的tensor在反向传播时的grad, 可以用retain_grad()这个属性(或者是hook机制)

detach()将节点剥离成叶子节点

      如果需要使得某一个节点成为叶子节点，只需使用detach()即可将它从创建它的计算图中分离开来。即detach()函数的作用就是把一个节点从计算图中剥离，使其成为叶子节点

什么样节点会是叶子节点

①所有requires_grad为False的张量，都约定俗成地归结为叶子张量           

         就像我们训练模型的input，它们都是require_grad=False，因为他们不需要计算梯度(我们训练网络训练的是网络模型的权重，而不需要训练输入)。它们是一个计算图都是起始点，如下图的a

②requires_grad为True的张量, 如果他们是由用户创建的,则它们是叶张量(leaf Tensor)。

        例如各种网络层，nn.Linear(), nn.Conv2d()等, 他们是用户创建的，而且其网络参数也需要训练，所以requires_grad=True

这意味着它们不是运算的结果,因此gra_fn为None

b是因为b是被cast操作创建的(从cpu cast一个tensor到gpu)

要和这里区分开

这里是说，单纯从数值关系上b=a+1，b确实依赖a(b是由a经过某个操作创建的)。但是从pytorch的看来，一切是为了反向求导，a的requires_grad属性为False，其不要求获得梯度，那么a这个tensor在反向传播时其实是“无意义”的，可认为是游离在计算图之外的，故b仍然为叶子节点，如下图

就连一个简单的不涉及梯度的操作也会使叶节点变成非叶节点

import torch

x = torch.tensor(2.0, requires_grad=True)
y = x ** 2
z = y + 1
z.backward()
print(x.grad)
print(y.grad)
print(x.is_leaf)
print(y.is_leaf)
print(x.grad_fn)
print(y.grad_fn)

从这里可以看出，只有叶子节点有梯度值grad，非叶节点为None

只有非叶节点有grad_fn，叶节点为None

这里是的不出z本身的梯度的，因为z是非叶节点

另一个例子，如图中绿色的点都是叶子节点

非叶节点的梯度在反传后会被释放

 

import torch
a = torch.Tensor([1,2]).requires_grad_() 
b = torch.Tensor([3,4]).requires_grad_() 
d = torch.Tensor([2]).requires_grad_() 
c = a + b 
e = c * d 
o = e.sum()     

o.backward()
print(a.grad)
print(b.grad)
print(c.grad)
print(d.grad)
print(e.grad)
print(o.grad)

可以从程序的输出中看到，a，b，d作为叶子节点，经过反向传播后梯度值仍然保留，而其它非叶子节点的梯度已经被自动释放了，要想得到它们的梯度值，就需要使用hook了

获得非叶节点的梯度 retain_grad()

import torch

x=torch.arange(10,dtype=torch.float32,requires_grad=True).reshape(10,1)
w=torch.arange(10,dtype=torch.float32,requires_grad=True).reshape(1,10)
y=w@x
x.retain_grad()
w.retain_grad()
y.backward()
print(x.is_leaf)
print(w.is_leaf)
print(x.grad)
print(w.grad)

 可以看到x和w都不是叶节点，但是用retain_grad()可以使它们获得梯度。

注意retain_grad()一定要写在y.backward()前面

或者可以用hook

​​​​​​Pytorch(十四) —— hook_hxxjxw的博客-CSDN博客