深度学习笔记(三十四)经典卷积神经网络:LeNet-5 AlexNet VGG-16

文章目录

  • 一、LeNet-5
  • 二、AlexNet
  • 三、VGG-16

一、LeNet-5

在这里插入图片描述

深度学习笔记(三十四)经典卷积神经网络:LeNet-5 AlexNet VGG-16_第1张图片
深度学习笔记(三十四)经典卷积神经网络:LeNet-5 AlexNet VGG-16_第2张图片

  • CONV1 6个过滤器,过滤器尺寸为5,步长为1,填充为0
  • POOL1 过滤器尺寸为2,步长为2
  • CONV2 16个过滤器,过滤器尺寸为5,步长为1,填充为0
  • POOL2 过滤器尺寸为2,步长为2
  • FC3 全连接层120个神经元
  • FC4 全连接层84个神经元
  • OUTPUT 输出层10个神经元 Softmax回归

深度学习笔记(三十四)经典卷积神经网络:LeNet-5 AlexNet VGG-16_第3张图片
需要注意的几点:

  • 在LeNet-5中,池化之后会加入非线性函数sigmoid
  • 在当时LeNet-5用的是平均池化,放在现在通常使用最大池化
  • 在当时LeNet-5用的不是Softmax回归进行分类,而是用的另一种小众的方法(暂时不需要学习)

二、AlexNet

在这里插入图片描述
深度学习笔记(三十四)经典卷积神经网络:LeNet-5 AlexNet VGG-16_第4张图片
深度学习笔记(三十四)经典卷积神经网络:LeNet-5 AlexNet VGG-16_第5张图片

  • CONV1 96个过滤器,过滤器尺寸为11,步长为4,填充为0
  • POOL1 过滤器尺寸为3,步长为2
  • CONV2 256个过滤器,过滤器尺寸为5,有填充保证卷积后尺寸不变
  • POOL2 过滤器尺寸为3,步长为2
  • CONV3 384个过滤器,过滤器尺寸为3,有填充保证卷积后尺寸不变
  • CONV4 384个过滤器,过滤器尺寸为3,有填充保证卷积后尺寸不变
  • CONV5 256个过滤器,过滤器尺寸为3,有填充保证卷积后尺寸不变
  • POOL5 过滤器尺寸为3,步长为2
  • FC6 全连接层4096个神经元
  • FC7 全连接层4096个神经元
  • OUTPUT 输出层1000个神经元 Softmax回归

深度学习笔记(三十四)经典卷积神经网络:LeNet-5 AlexNet VGG-16_第6张图片
需要注意的几点:

  • 虽然AlexNet和LeNet-5相似,但是AlexNet比LeNet-5大得多
  • AlexNet可以处理相似的基本构造模块,这些模块往往包含大量隐藏单元和数据
  • AlexNet使用了ReLU激活函数,这是一个优势
  • 在写AlexNet这篇论文的时候,GPU处理速度还很慢,所以采用的方法是在两个GPU上训练,将每一层分拆到两个GPU上工作
  • AlexNet经典网络的论文中提到LRN层(局部响应归一化层),现在发现这样做并没有多好,所以现在并不用LRN层训练网络

三、VGG-16

在这里插入图片描述

何为VGG-16?其中16的意思就是卷积层和全连接层共16层。
深度学习笔记(三十四)经典卷积神经网络:LeNet-5 AlexNet VGG-16_第7张图片
深度学习笔记(三十四)经典卷积神经网络:LeNet-5 AlexNet VGG-16_第8张图片
需要注意的几点:

  • VGG-16一共是16层卷积层加全连接层
  • 这种网络结构非常工整,卷积层专注于尺寸为3的过滤器,步长为1,padding类型为same;池化层专注于尺寸为2的过滤器,步长为2
  • 在多个卷积层后跟一个压缩尺寸的池化层
  • 仔细观察,每一层的通道数和图像高宽都呈现明显的2倍规律
  • 缺点就是训练的特征数量非常大
  • 还有论文介绍VGG-19,但是16和19表现不相上下,更多人选择VGG-16

你可能感兴趣的:(【深度学习/神经网络】Deep,Learning)