2D网络模型框架总结1

Lenet-5

LeNet-5是一种用于手写体字符识别的非常高效的卷积神经网络。
卷积神经网络能够很好的利用图像的结构信息。
卷积层的参数较少，这也是由卷积层的主要特性即局部连接和共享权重所决定。

用于写字错误率小于0.8%，共七层（不包含输入）
输入为32*32像素大小，网络结构如下：
Input: 32×32
Conv1:28×28×6 kernel:5×5×6，strides=1,生成28×28的FM特征图。
Pool1:14×14×6 2×2，stride=2,sigmoid函数激活，生成14×14采样层。
Conv2:10×10×16，kernel：5×5×16，生成10×10的FM
pool2:5×5×16, 2×2，16个5×5的子采样层，
Conv3:120 5×5×120，生成1×1×120个卷积核
F6：84个全连接层。计算方式：计算输入向量和权重向量之间的点积，再加上一个偏置，结果通过sigmoid函数输出。
Output层-全连接层
Output层也是全连接层，共有10个节点，分别代表数字0到9。采用的是径向基函数（RBF：Radial Basis Function）的网络连接方式进行分类。
LeNet属于CNN，CNN优势：1.抗形变（位移、缩放、扭曲）
2.并行学习（多FM）3.权值共享（在语音、图像处理有优势）
改进的Lenet-5
input:28×28×1 输入：28×28 单通道
C1:24×24×20：Kernel:5×5×20,stride=1, 输出矩阵[20,24,24].
MaxPooling:12×12×20: 2×2,无重叠
C2:8×8×50：Kernel:5×5×50,stride=1
Maxpooling:4×4×50:2×2,无重叠
FC1:全连接500
relu1:500
FC2:全连接10
softmax分类器
output

AlexNet:5层

转自：https://www.cnblogs.com/wangguchangqing/p/10333370.html
Image比赛中：2012年提出。5层卷积层13层全连接。
AlexNet是在LeNet的基础上加深了网络的结构，学习更丰富更高维的图像特征。
AlexNet的特点：

• 更深的网络结构
• 使用层叠的卷积层，即卷积层+卷积层+池化层来提取图像的特征
• 使用Dropout抑制过拟合
• 使用数据增强Data Augmentation抑制过拟合
• 使用Relu替换之前的sigmoid的作为激活函数
• 多GPU训练
  Alex网络结构
  
  上图中的输入是224×224，不过经过计算(224−11)/4=54.75并不是论文中的55×55，而使用227×227作为输入，则(227−11)/4=55
  卷积层C1
  该层的处理流程是： 卷积–>ReLU–>池化–>归一化。
• 卷积，输入是227×227，使用96个11×11×3的卷积核，stride=4,得到的FeatureMap为55×55×96。
• ReLU，将卷积层输出的FeatureMap输入到ReLU函数中。
• 池化，使用3×3步长为2的池化单元（重叠池化，步长小于池化单元的宽度），输出为27×27×96（(55−3)/2+1=27)
• 局部响应归一化，使用k=2,n=5,α=10−4,β=0.75进行局部归一化，输出的仍然为27×27×96，输出分为两组，每组的大小为27×27×48
  卷积层C2
  该层的处理流程是：卷积–>ReLU–>池化–>归一化
• 卷积，输入是2组27×27×48。使用2组，每组128个尺寸为5×5×48的卷积核，并作了边缘填充padding=2，卷积的步长为1. 则输出的FeatureMap为2组，每组的大小为27×27 times128. （(27+2∗2−5)/1+1=27）
• ReLU，将卷积层输出的FeatureMap输入到ReLU函数中
• 池化运算的尺寸为3×3，步长为2，池化后图像的尺寸为(27−3)/2+1=13，输出为13×13×256
• 局部响应归一化，使用k=2,n=5,α=10−4,β=0.75进行局部归一化，输出的仍然为13×13×256，输出分为2组，每组的大小为13×13×128

卷积层C3
该层的处理流程是： 卷积–>ReLU

• 卷积，输入是13×13×256，使用2组共384尺寸为3×3×256的卷积核，做了边缘填充padding=1，卷积的步长为1.则输出的FeatureMap为13×13 times384
• ReLU，将卷积层输出的FeatureMap输入到ReLU函数中
  卷积层C4
  该层的处理流程是： 卷积–>ReLU
  该层和C3类似。
• 卷积，输入是13×13×384，分为两组，每组为13×13×192.使用2组，每组192个尺寸为3×3×192的卷积核，做了边缘填充padding=1，卷积的步长为1.则输出的FeatureMap为13×13 times384，分为两组，每组为13×13×192
• ReLU，将卷积层输出的FeatureMap输入到ReLU函数中
  卷积层C5
  该层处理流程为：卷积–>ReLU–>池化
• 卷积，输入为13×13×384，分为两组，每组为13×13×192。使用2组，每组为128尺寸为3×3×192的卷积核，做了边缘填充padding=1，卷积的步长为1.则输出的FeatureMap为13×13×256
• ReLU，将卷积层输出的FeatureMap输入到ReLU函数中
• 池化，池化运算的尺寸为3×3，步长为2，池化后图像的尺寸为 (13−3)/2+1=6,即池化后的输出为6×6×256
  全连接层FC6
  该层的流程为：（卷积）全连接 -->ReLU -->Dropout
• 卷积->全连接： 输入为6×6×256,该层有4096个卷积核，每个卷积核的大小为6×6×256。由于卷积核的尺寸刚好与待处理特征图（输入）的尺寸相同，即卷积核中的每个系数只与特征图（输入）尺寸的一个像素值相乘，一一对应，因此，该层被称为全连接层。由于卷积核与特征图的尺寸相同，卷积运算后只有一个值，因此，卷积后的像素层尺寸为4096×1×1，即有4096个神经元。
• ReLU,这4096个运算结果通过ReLU激活函数生成4096个值
• Dropout,抑制过拟合，随机的断开某些神经元的连接或者是不激活某些神经元
  全连接层FC7
  流程为：全连接–>ReLU–>Dropout
• 全连接，输入为4096的向量
• ReLU,这4096个运算结果通过ReLU激活函数生成4096个值
• Dropout,抑制过拟合，随机的断开某些神经元的连接或者是不激活某些神经元
  输出层
  第七层输出的4096个数据与第八层的1000个神经元进行全连接，经过训练后输出1000个float型的值，这就是预测结果。

由于AlexNet是使用两块显卡进行训练的，其网络结构的实际是分组进行的。并且，在C2,C4,C5上其卷积核只和上一层的同一个GPU上的卷积核相连。 对于单显卡来说，并不适用