Pytorch 中的 Hook 机制

Hook 是 PyTorch 中⼀个⼗分有⽤的特性。利⽤它，我们可以不必改变⽹络输⼊输出的结构，⽅便地获取、改变⽹络中间层变量的值和梯度。这个功能被⼴泛⽤于可视化神经⽹络中间层的feature、gradient，从⽽诊断神经⽹络中可能出现的问题，分析⽹络有效性。总的说来，⼀共有四种Hook函数：
torch.Tensor.register_hook(hook)
torch.nn.Module.register_forward_hook
torch.nn.Module.register_forward_pre_hook
torch.nn.Module.register_backward_hook

详细参考：

深度之眼Pytorch框架训练营第四期——Hook函数与CAM算法 - 百度文库