深度卷积神经网络DCNN总结(AlexNet,ZFNet,VGGNet,GooleNet,ResNet)

目录

  • AlexNet
    • LRN的原理
  • ZFNet
  • VGGNet
  • 2014年GooleNet
    • native inception module
  • 降维之后的inception module
    • 改进
  • ResNet
  • ResNext
  • 随机ResNet 2016
  • DenseNet

AlexNet

2012年AlexNet被提出,如果将隐藏层看做黑盒的话,输入有大概15万个特征,输出有5万个特征
其中有8层网络,不算池化层,有8层。5层卷积层和三层全连接层
LRN-局部响应规范,横向局部抑制,找出所有层相同位置,比较大小,取最大的那一层,在这一层的周围使用公式计算出值,越大的值会越大,越小的值就受到抑制。
K:超参,n:影响通道数,实践证明BN比LRN的效果更好
深度卷积神经网络DCNN总结(AlexNet,ZFNet,VGGNet,GooleNet,ResNet)_第1张图片

LRN的原理

图像识别的输出值,最大的概率是0.99,其他的值加起来为0.01比最大概率是0.8,其他值加起来是0.2的效果好

ZFNet

2013年被提出
AlexNet是否能够通过调参变得更好,
通过调整卷积核大小 和增加maxpooling 的步长,使得特征值变得更加光滑

VGGNet

2014年被提出,深度学习出现了特征框架和大的网络,vgg是通过调参和增加层数得到的最优,大概这是调参的极限了,如果想要获得更好性能,估计要进行网络结构改变,VGGnet是卷积层和全连接层搭配达到极限,增加LRN效果一般。
vggnet有19层,常用的是vggnet16.

深度卷积神经网络DCNN总结(AlexNet,ZFNet,VGGNet,GooleNet,ResNet)_第2张图片

卷积层+全连接 层有138M参数,怎么可以减少参数值?
通过在最后一层卷积层之后增加一层卷积层conv3-512,尺寸为3*3,通道数目为512,参数降低为12M

2014年GooleNet

选择有趣的网络结构

native inception module

深度卷积神经网络DCNN总结(AlexNet,ZFNet,VGGNet,GooleNet,ResNet)_第3张图片
其中有10个Inception module相互连接

降维之后的inception module

深度卷积神经网络DCNN总结(AlexNet,ZFNet,VGGNet,GooleNet,ResNet)_第4张图片
有两个分类器,分别位于4a和4d之后,是在训练后期发挥作用

改进

使用一个55卷积核去代替33卷积核,效果是一样的
深度卷积神经网络DCNN总结(AlexNet,ZFNet,VGGNet,GooleNet,ResNet)_第5张图片
我们可以看到55输入经过两次33的卷积,得到11
和5
5的输入经过一次55卷积得到11的结果是一样的

ResNet

两层卷积图
后来变成三层,

ResNext

增加宽度

随机ResNet 2016

DenseNet

用于图像分类

你可能感兴趣的:(深度学习)