论文笔记：ZFNet

ZFNet

1、四个问题

1. 要解决什么问题？
   • 卷积神经网络具有很好的效果，在ImageNet上取得了开创性的成果，但是我们对其却没有一个直观的认识，以及它为何效果这么好，全当成黑盒子来用。
2. 用了什么方法解决？
   • 提出了一个新的卷积神经网络可视化技术，来辅助观察中间层以及最后的分类层的输出特征图。
   • 提出了ZFNet，并应用了反卷积技术来做可视化。
3. 效果如何？
   • ZFNet的效果在ImageNet上超过了AlexNet，这篇论文是14年的，放到现在效果不算最好。
   • 中间层可视化，不同层注重的部分可以较明显地看出来。
4. 还存在什么问题？
   • 这篇文章主要是帮助理解CNN内部工作机制的，了解思路就足够了。

2、论文概述

2.1、实现方法

• 实验主要使用AlexNet和LeNet。
• 使用反卷积（deconvnet）网络来进行可视化操作。提出了一种将激活值映射回输入时的像素空间的方法，从结果可以看出输入特征图的哪些部分造成了特征图的激活。
• 网络的每一层都使用一个反卷积得到像素级的输出，输入是feature map，输出是图像像素，如下图所示。右图是正常卷积过程，左图是反卷积过程。

• 过程分为三部分：unpooling --> rectification -->filtering。
  • unpooling（反池化）：卷积神经网络中的max_pooling操作是不可逆的，但是可以用一组switch变量来记录它激活的位置（每个pooling region中最大值的位置），来进行一个近似的反卷积。
  • rectification（ReLU激活）：卷积神经网络中使用ReLU作为激活函数，ReLU的性质就是正值部分保留不变，其余置0。我们重构时，也可以使用ReLU进行激活，结果不变。
  • filtering（反卷积，deconv）：CNN使用训练得到的卷积核对前一层的输入进行卷积得到特征图，反卷积就是将这个过程反过来，使用那些卷积核的转置对下一层进行卷积，得到前面层的值。注意到，这里对卷积核的操作是转置，所以也叫作“转置卷积”。

2.2、可视化

2.2.1、特征可视化

• 通过对各层卷积核学习到的特征进行可视化发现神经网络学习到的特征存在层级结构。
  • 第二层是学习到边缘和角点检测器.
  • 第三层学习到了一些纹理特征.
  • 第四层学习到了对于指定类别图像的一些不变性的特征，例如狗脸、鸟腿.
  • 第五层得到了目标更显著的特征并且获取了位置变化信息。

2.2.2、训练期间特征的演变

• 低层特征经过较少epoch的训练过程之后就学习的比较稳定了，层数越高越需要更多的epoch进行训练。因此需要足够多的epoch过程来保证顺利的模型收敛。

2.2.3、特征不变性

• 平移影响不大，旋转影响较大。卷及神经网络具有平移不变形，但不具有旋转不变性。

2.2.4、网络结构选择

• 在AlexNet的结构基础之上修改的，网络结构上没有太多的创新。

• 作者通过可视化AlexNet第一层和第二层的特征，发现比较大的stride和卷积核提取的特征不理想，所以作者将第一层的卷积核从$11\ast 11$减小到$7\ast 7$，将stride从4减小到2，实验说明，这样有助于分类性能的提升。

2.2.5、遮挡分析

• 遮挡实验说明图像的关键区域被遮挡之后对分类性能有很大的影响，说明分类过程中模型明确定位出了场景中的物体。

2.2.6、一致性分析

• 不同图像的指定目标局部块之间是否存在一致性的关联，作者认为深度模型可能默认学习到了这种关联关系。作者通过对五张不同的狗的图像进行局部遮挡，然后分析原图和遮挡后的图像的特征之间的汉明距离的和值，值越小说明一致性越大。实验表明，对不同的狗的图像遮挡左眼、右眼和鼻子之后的汉明距离小于随机遮挡，证明存在一定的关联性。

3、参考资料

1. Visualizing and Understanding Convolutional Networks
2. 一个讲解神经网络可视化的博客
3. https://blog.csdn.net/cdknight_happy/article/details/78855172