卷积神经网络CNN之ZF Net网络模型详解(理论篇)

1.背景
2. ZF Net模型结构
3. 改进优缺点

一、背景

  ZF Net是用作者的名字命名的,Matthew D.Zeiler 和 Rob Fergus (纽约大学),2013年撰写的论文;

论文原网址https://arxiv.org/abs/1311.2901

论文名:Visualizing and Understanding Convolutional Networks

论文摘要:大型卷积神经网络在ImageNet上表现出优秀的性能。本文试图解决两个问题,这种模型为什么表现得如此优秀,以及如何改进模型。我们引入了一种新颖的可视化技术,深入了解中间特征层的功能和分类器的操作细节。可视化技术最终找到了一种比AlexNet性能更好的模型结构,还发现了模型的不同层次做出的性能贡献。

  这篇文章模型是2013ImageNet分类任务的冠军,其网络结构没什么改进,只是调了调参,性能较Alex提升了不少。
  ZF-Net只是将AlexNet第一层卷积核由11变成7,步长由4变为2,第3,4,5卷积层转变为384,384,256。这一年的ImageNet还是比较平静的一届,其冠军ZF-Net的名堂也没其他届的经典网络架构响亮。

二、ZF Net模型结构

补充:多通道卷积核卷积计算
下图是5* 5* 3被一个核的3* 3* 3=3* 3 *1
卷积神经网络CNN之ZF Net网络模型详解(理论篇)_第1张图片

网络结构梳理
卷积神经网络CNN之ZF Net网络模型详解(理论篇)_第2张图片
说明:论文中提出一种新的可视化技术,该技术可以了解中间特征图的功能和分类器的操作
  AlexNet第一层中有大量的高频(边缘)和低频(非边缘)信息的混合,却几乎没有覆盖到中间的频率信息。
  由于第一层卷积用的步长为4,太大,导致了有非常多的混叠情况,学到的特征不是特别好看,不像是后面的特征能看到一些纹理、颜色等。
  因此作者针对第一个问题将AlexNet的第一层的卷积核大小从11 *11改成7 *7。同时针对第二个问题将第一个卷积层的卷积核滑动步长从4改成2。同时,ZFNet将AlexNet的第3,4,5卷积层变为384,384,256。
  区别是AlexNet用了两块GPU训练把3、4、5层分了两块,而我们的结构更紧密。

网络层简介 输入 核数量-卷积窗口-填充-步长 输出-激活函数 核数量-池化窗口-步长 输出-归一化 过拟合方法
224 *224 *3 使用96个核7* 7 *3的卷积,padding=0,stride=2 110 *110 *96 最大池化3 *3-stride=2 55 *55 *96-LRN局部响应归一化,尺度5x5
55 *55 *96 使用256个核5* 5 *96的卷积,padding=0,stride=2 26 *26 *256 最大池化3 *3-stride=2 13 *13 *256-LRN局部响应归一化,尺度5x5
13 *13 *256 使用384个核3* 3*256的卷积,padding=1,stride=1 13 *13 *384 无-归一化
13 *13 *384 使用384个核3* 3*384的卷积,padding=1,stride=1 13 *13 *384 无-归一化
13 *13 *384 使用256个核3* 3*384的卷积,padding=1,stride=1 13 *13 *256 最大池化3 *3-stride=2 6 *6 *256-归一化
全连接层一 6*6 *256 使用4096个6×6×256的卷积核进行卷积 1x1x4096(—4096个神经元的运算结果通过ReLU激活函数中 无-归一化 Dropout:随机的断开全连接层某些神经元的连接,通过不激活某些神经元的方式防止过拟合。drop运算后输出4096个本层的输出结果值
全连接层二 4096×1(4096个神经元) 无-----4096个神经元的运算结果通过ReLU激活函数中 无池化 无-归一化 4096个数据与第七层的4096个神经元进行全连接,然后经由relu7进行处理后生成4096个数据,再经过dropout7处理后输出4096个数据
输出层 4096×1(4096个神经元) 无-----4096个神经元的运算结果通过ReLU激活函数中 无池化 无-归一化

三、内容都有所提到,具体看ZF net 项目练习总结

你可能感兴趣的:(深度学习理论,cnn,网络,深度学习)