特征图可视化为类激活图(CAM)－－简化版

本篇博客是简化版本的CAM，针对于不同特征图进行可视化。

其余两篇：
CAM实现的流程(pytorch)
Grad-Cam实现流程(pytorch)

在图像分类领域的论文中，经常看到如下所示的可视化图片。将特征图的响应大小，映射到了原图，能让读者更直观的了解模型的效果。这类图，通常被称为类激活图(CAM, Class Activation Map)，或者注意力图、热图。

其实，绘制这种图片并不难，通过opencv就可以实现，并且，不限于你的深度学习框架，tensorflow，pytorch，keras都可以，前提是你能够提取出特征图。上一张图，是我使用训练好的细粒度分类模型（网络结构源于Mutual-Channel Loss ）可视化的结果。
用到的函数为：cv2.applyColorMap()，cv2.addWeighted()
cv2.applyColorMap()函数的功能是将矩阵转化为伪彩色图(可以把伪彩色图近似于热力图)。
cv2.addWeighted()函数是将两张图片融合。

上图绘制的思想是：

1. 将一张图片输入训练好的模型，预测分类结果。然后获取我们想要可视化那一层的特征图(未经过bn和relu等)。
2. 可以通过切片方式，选择单个通道或者多通道的第一步得到的特征图。
3. 将特征图resize为原始图片大小，以便能够与原始图片叠加。
4. 将特征图按照每个元素的大小生成伪彩色图片。
5. 原始图片与伪彩色图片叠加。

代码示例：

import numpy as np
import cv2
import matplotlib.pyplot as plt
# heat 为某层的特征图，自己手动获取
heat = heat.data.cpu().numpy()	     # 将tensor格式的feature map转为numpy格式
heat = np.squeeze(heat, 0)	         # ０维为batch维度，由于是单张图片，所以batch=1，将这一维度删除
heat = heat[145*3:145*3+3,:]　       # 切片获取某几个通道的特征图
heatmap = np.maximum(heat, 0)        # heatmap与0比较
heatmap = np.mean(heatmap, axis=0)  # 多通道时，取均值
heatmap /= np.max(heatmap)          # 正则化到 [0,1] 区间，为后续转为uint8格式图做准备
#plt.matshow(heatmap)				# 可以通过 plt.matshow 显示热力图
#plt.show()

# 用cv2加载原始图像
img = cv2.imread('./Forsters_Tern_0016_152463.jpg')
heatmap = cv2.resize(heatmap, (img.shape[1], img.shape[0]))  # 特征图的大小调整为与原始图像相同
heatmap = np.uint8(255 * heatmap)  　　　　　　　　　　　　　# 将特征图转换为uint8格式
heatmap = cv2.applyColorMap(heatmap, cv2.COLORMAP_JET)  # 将特征图转为伪彩色图
heat_img = cv2.addWeighted(img, 1, heatmap, 0.5, 0)     # 将伪彩色图与原始图片融合
#heat_img = heatmap * 0.5 + img 　　　　　　		  　　　 # 也可以用这种方式融合
cv2.imwrite('./heat_all_3.jpg', heat_img) 　　　　　　　　 # 将图像保存

opencv中一共有12种模式。其中能够用于绘制CAM的有cv2.COLORMAP_JET，cv2.COLORMAP_RAINBOW和cv2.COLORMAP_HSV这三种模式，其余效果不太好。12种模式可参考：cv2伪彩色applyColorMap()函数

12种彩色模式效果：

参考链接：
https://blog.csdn.net/C_chuxin/article/details/85265082