实现Grad-CAM 可视化算法的过程记录

一、需要注意的地方

1、挂hook的layer

当我们想要看分类响应图上的得分，及model关注的地方时，需要记录传播的层是 激活函数 的输出，而不是 预测分类得分 的卷积层的输出。

也就是说 挂 hook 的layer 一定要是分类head之前的 激活函数层

2、 激活函数的 inplace 一定要设置成 False

可以用下列函数实现

# 激活函数的inplace一定要为False形式，否则保存不了梯度
def change_inplace(model, inplace=False):
    for m in model.modules():
        t = type(m)
        # print(t)
        if t is nn.ReLU:
            m.inplace = inplace

3、分类得分图的处理

得分图一定不要 进行 tensor 和numpy的转换，这里要保留原来的网络输出的得分图，这样形式才是 tensor 形式，如下所示，需要注意的点都圈出来了。

 二、效果展示

根据分类得分 应用的 grad-cam可视化算法。查看模型关注的部分（此时跟踪的不是黑猫，是另一个猫）

 

 上面效果来自一篇孪生网络跟踪算法的结果。而且结果的 热力图 与 输入图片相加效果没有调制好，哈哈。

还有一点，grad-cam 可视化最终的返回应该只能返回到model的输入，所以无法将注意的地方应用回原图。因为跟踪过程 的输入是裁剪的图片  crop + pad+ resize，如上面所示。而检测的输入 resize+pad，所以检测最终的网络输入与热力图叠加后可以完美的resize回原图片，而看不出差别。但是跟踪的不行。

下面是热力图掩码，颜色其实可以自行设置的（跟踪的黑猫）看位置好像把电视也 看到了