pytorch 权重weight 与 梯度grad 可视化

查看特定layer的权重以及相应的梯度信息

  • 打印模型
    pytorch 权重weight 与 梯度grad 可视化_第1张图片
  • 观察到model下面有module的key,module下面有features的key, features下面有(0)的key,这样就可以直接打印出weight了
  • 在pdb debug界面输入p model.module.features[0].weight,就可以看到weight,输入 p model.module.features[0].weight.grad 就可以查看梯度信息

中间变量的梯度 : .register_hook

  • pytorch 为了节省显存,在反向传播的过程中只针对计算图中的叶子结点(leaf variable)保留了梯度值(gradient)。但对于开发者来说,有时我们希望探测某些中间变量(intermediate variable) 的梯度来验证我们的实现是否有误,这个过程就需要用到 tensor的register_hook接口
grads = {}

def save_grad(name):
    def hook(grad):
        grads[name] = grad
    return hook

x = torch.randn(1, requires_grad=True)
y = 3*x
z = y * y

# 为中间变量注册梯度保存接口,存储梯度时名字为 y。
y.register_hook(save_grad('y'))

# 反向传播 
z.backward()

# 查看 y 的梯度值
print(grads['y'])

打印网络回传梯度

  • net.named_parameters()
  • parms.requires_grad 表示该参数是否可学习,是不是frozen的;
  • parm.grad 打印该参数的梯度值。
net = your_network().cuda()
def train():
	...
	outputs = net(inputs)
    loss = criterion(outputs, targets)
    loss.backward()
	for name, parms in net.named_parameters():	
		print('-->name:', name, '-->grad_requirs:',parms.requires_grad, \
		 ' -->grad_value:',parms.grad)

查看pytorch产生的梯度

[x.grad for x in self.optimizer.param_groups[0]['params']]

资料

  • pytorch查看模型weight与grad
  • pytorch 查看中间变量的梯度
  • pytorch 打印网络回传梯度
  • 如何查看pytorch产生的梯度

你可能感兴趣的:(可视化,可视化,weight,grad)