张量的is_leaf参数和required_grad参数

1: required_grad = True表明要对这个张量求导,也就是求取这个张量的梯度grad

2:is_leaf = True表示这个张量是叶子节点,此时,对其求导,他的导数会被保留,而对于is_leaf =False的张量,就算其required_grad = True,对齐求导了,但是其导数不会被保留,也就不会用于参数更新

3:像模型权重参数这些张量,其 required_grad = True,并且is_leaf = True;而输入张量,比如输入的图片等等,往往is_leaf = True, 而 required_grad = False,也就是说输入张量是叶子节点,但是不对其求导,因为总部需要更新输入吧.....

4:张量的.grad_fn:记录求导函数,比如乘法等等

5:而张量.grad则是该张量求导之后的梯度

你可能感兴趣的:(人工智能,python,算法)