笔记：计算机视觉与深度学习-北邮-鲁鹏-2020年录屏-第十二讲

笔记：计算机视觉与深度学习-北邮-鲁鹏-2020年录屏

写在开头（重复的）

1.课程来源：B站视频.
2.笔记目的：个人学习+增强记忆+方便回顾
3.时间：2021年4月21日
4.同类笔记链接：（钩子：会逐渐增加20210428）
第一讲.第二讲.第三讲.第四讲.第五讲.第六讲.第七讲.第八讲.第九讲.第十讲.第十一讲.番外篇一个简单实现.第十二讲.第十三讲.第十四讲完结.
5.请一定观看视频课程，笔记是对视频内容的有限度的重现和基于个人的深化理解。
6.注意符号 SS：意味着我的个人理解，非单纯授课内容，有可能有误哦。

—以下正文—

一、可视化

（一）可视化方法之一-基于反向传播的显著性图

• 1.这次的反向求导，不对权重w求导，而对传递过来的x求导，最终梯度反向传递到input的地方，会和原图像一样变成RGB三层，经过一次maxpooling只取最大值，展现出来就是上图中黑白图片的样子。
• 2.这张图展现了什么？以input的视角看，这张黑白图展现了只有亮斑位置的像素传递到了卷积层的最后并交给了全连接神经网络层（其他像素信息没有传递到最后，只能是在激活函数比如ReLU时被0替代了）。换言之，从卷积神经网络角度看，卷积网络只关注了input原图中，亮斑位置的信息。
  
• 3.有什么用？用于观察神经网络在对“狗”这个标签的训练过程中，有没有学对东西。如果黑白图中除了狗的其他地方被点亮，说明神经网络发生了过拟合。（既，除了通过验证集准确率检验是否过拟合，这个图片也能检测过拟合）
• 4.由此形成的图，不妨称为Saliency Maps 显著性图
  
• 5.由显著性图进行的“图割技术”，得到像素级的分隔。（实际使用效果似乎不好）

（二）可视化方法之二-Intermediate features via(guided) backprop

• 1.似懂非懂，没法讲解

（三）可视化方法之三-梯度上升Gradient Ascent

• 1.该方法不需要input图像

二、愚弄神经网络

三、从特征图组反推图像

• 1.Φ(x)代表输出的卷积网络；x代表图像，既我们想反求的值；Φ0代表x的特征图组。我们把卷积网络的整个倒过来，图组当输入，反向求原图。
• 2.Φ(x)-Φ0的绝对值的平方，可以理解为两者之间的“绝对距离”。让绝对距离等于零，则特征被还原成原图。
  
• 3.各层特征还原成图像的效果的展示：可见随着层数增加，对原图的“损伤”更大
  

四、纹理合成与艺术风格转移

-1.过

五、可视化工具keras-vis的介绍

• 1.使用的salinecy map、grad-CAM、激活最大化。
  
• 2.salinecy map代码展示
  
• 3.正常backporp和guidedbackporp结果展示
  
• 4.grad-CAM调用接口及效果展示