经典网络模型-LeNet

LeNet

简介

LeNet是一个用来识别手写数字的最经典的卷积神经网络，是Yann LeCun在1998年设计并提出的。Lenet的网络结构规模较小，但包含了卷积层、池化层、全连接层，他们都构成了现代CNN的基本组件。

网络结构

LeNet-5 共5层：卷积层C1、C3、C5 全链接层 F6、Out

输入：32*32=1024的手写字体图片，相当于1024个神经元。这些手写字体包含0~9数字，也就是相当于10个类别的图片

C1层：卷积层使用6个特征卷积核，卷积核大小5*5，步长为1，无padding，这样我们可以得到6个特征图，然后每个特征图的大小为(32-5+2*0)/1+1=28，也就是神经元的个数为6*28*28=784。

S2层：MaxPooling下采样层，也就是使用最大池化进行下采样，池化的滤波器大小f选择(2,2)，步长stride为2。这样我们可以得到输出大小为6*14*14

C3层：卷积层，卷积核大小5*5，步长为1，无padding，据此我们可以得到新的图片大小为(14-5+2*0)/1+1=10，此处采用16个卷积核，所以最终输出16*10*10

S4层：MaxPooling下采样层，对C3的16张10*10的图片进行最大池化，池化的滤波器大小f选择(2,2)，步长stride为2。因此最后S4层为16张大小为5*5的图片。至此我们的神经元个数已经减少为：16*5*5=400

C5层：将S4层的输出平铺为一个400的一维向量。然后用这400个神经元构建下一层，C5层有120个神经元。S4层的400个神经元与C5层的每一个神经元相连【C5层有120个神经元】，这就是全连接层

F6层：对C5层的120个神经元再添加一个全连接层【F6层含有84个神经元】。

输出：最后将F6层的84个神经元填充到一个SoftMax函数，得到输出长度为10的张量，张量中为1的位置代表所属类别。（例如[0,0,0,1,0,0,0,0,0,0]的张量，1在index=3的位置，故该张量代表的图片属于第三类）。

输入->卷积->池化->卷积->池化->卷积->全链接->全链接(输出)

该网络特点：

1）激活函数使用tanh

2）卷积核5x5，步长1，未使用padding

3）池化层使用最大池化MaxPooling