ZFNet 深度学习笔记

1.ZFnet简介

  • 理论来源:Matthew D. Zeiler和Rob Fergus的Visualizing and Understanding Convolutional Networks论文,主要介绍CNN的每一层的特征学习,并通过可视化进行调整网络,提高精度
  • ZFNet是2013年ImageNet图像分类竞赛冠军
  • ZFNet的网络结构:在AlexNet的基础上进行了修改,将第一层的卷积核变成了7x7,调整步长为2,并在之后的卷积层也进行了不同的调整ZFNet 深度学习笔记_第1张图片

  简而言之,卷积网络训练时,记录最大值的池化位置,反池化就可以直接填写该最大值,其余位置填0;反卷积过程也采用relu激活;对于卷积滤波过程则使用原卷积核的转秩与特征图进行运算。通过上述三个技术要点就可以完成反卷积操作,可视化效果如下图所示,当然ZF-Net通过可视化的研究,修正了Alex-Net的一些问题,最终形成了自己的模型。

ZF-Net结构

论文的4.1章节就描述了Alex-Net的一些不足之处,例如作者对Alex-Net进行可视化后,发现第一层CNN混合了高层与底层信息,但是中层信息没有收敛。以及第二层CNN由卷积核步长为4而导致的失真等,两个网络的可视化比较如下图。

ZFNet 深度学习笔记_第2张图片

ZF-Net从架构上整体使用2步长,且第一层修改为7x7大小的卷积核。通过可视化的实验,作者还得出了一些结论,例如CNN浅层主要学习图像中的物体轮廓、边缘、纹理等特征,深层主要学习物体的相关性特征,例如处于同一类标签的图像,深层特征图就会极为相似,具体ZF-Net的结构如下图所示。

ZFNet 深度学习笔记_第3张图片

有趣的是,作者还做了遮挡性实验,即对下图中狗的不同部位进行遮挡,然后通过Hamming distance 来判断原图和遮挡后图的相似性。结果证明关键部位的遮挡对图像的识别性能有决定性作用。

ZFNet 深度学习笔记_第4张图片

你可能感兴趣的:(深度学习,人工智能)