Pytorch模型输出梯度为None|如何输出GRL模型的梯度

代码

'''
在加入GRL（梯度反转层）时，想要查看梯度是否反转，
需要输出embedding z的梯度
此时直接用 z.grad 会输出None
'''
z = encoder(x)
# 在backward之前加一句
z.retain_grad()

loss.backward()
# 此时就可以查看encoder输出的梯度了
print(z.grad)

知识补充

第一个backward()之前所有的梯度都置为None，出于计算效率考虑，pytorch默认只保存模型参数的梯度，而不保存模型输入输出的梯度，因此如果要记录模型输出的梯度就需要用retain_grad()记录。

对于模型内部参数，梯度用torch.Tensor.requires_grad=True/False来控制。

参考：https://pytorch.org/docs/stable/autograd.html#torch.Tensor.retain_grad