深度学习之卷积神经网络经典网络LeNet-5简介
1. LeNet-5简介
LeNet5卷积神经网络源于Yann LeCun在1998年发表的论文：Gradient-based Learning Applied to Document Recognition (论文下载地址：http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf)，是一种用于手写数字识别的卷积神经网络。
LeNet-5是CNN网络架构中最知名的网络模型，是卷积神经网络的开山之作。
2. MNIST数据集
MNIST数据集（官网：http://yann.lecun.com/exdb/mnist/）是由Yann LeCun等人收集整理，其目的是用于手写数字识别模型的训练。主要包括了6万张训练图像和1万张测试图像，每张图像大小为28*28的灰度图像，即图像通道数为1。官网提供的下载分为四个文件，即训练集图像、训练集标签、测试集图像、测试集标签：
由于官网下载速度超慢，更快下载请移步：
mnist数据集下载——mnist数据集提供百度网盘下载地址
3. LeNet5结构
上图是LeNet5原文中的截图，LeNet5包含了卷积网络的基本组成部分：卷积、池化及全连接。顾名思义，LeNet5为5层的卷积神经网络：3层卷积和2层全连接层组成。
| 网络层 | 类型 | 特征图 | 尺寸 | 核大小 | 步长 | 激活函数 |
|---|---|---|---|---|---|---|
| 输出层 | 全连接层 | 10 | None | None | None | RBF |
| F6 | 全连接层 | None | 84 | None | None | tanh |
| C5 | 卷积层 | 120 | 1*1 | 5*5 | 1 | tanh |
| S4 | 平均池化层 | 16 | 5*5 | 2*2 | 2 | tanh |
| C3 | 卷积层 | 16 | 10*10 | 5*5 | 1 | tanh |
| S2 | 平均池化层 | 6 | 14*14 | 2*2 | 2 | tanh |
| C1 | 卷积层 | 6 | 28*28 | 5*5 | 1 | tanh |
| 输入层 | 输入 | 1 | 32*32 | None | None | None |
注意：通常输入层不计入神经网络层数。
3.1输入层
输入层为32*32大小的灰色图像。通常输入层不计入神经网络层数。
MNIST数据集图像大小为28*28，因此在喂入网络前对图像四周进行0填充，使得大小变为32*32，并且对像素值进行归一化处理。
3.2 卷积层1
输入：1个32*32的图像
卷积：卷积层1选取6个5*5的卷积核，步长为1，非全0填充，因此输出图像长宽为(32-5+1)/1=28。
参数：6*5*5+6*1=156。
连接数：(5*5+1)*6*28*28=122304
输出：为6个28*28的特征图
3.3 降采样层2
输入：6个28*28的特征图
参数：6*1+6*1=12
连接数：（2*2+1）*6*14*14=5880
输出：6个14*14的特征图
该层在LeNet5原文中称作降采样层(sub-sampling layer)，使用了6个2*2的卷积核，具体运算过程为：2*2的视野中4个数求和后乘上一个可训练的权重并加上一个偏置，
注意：目前卷积神经网络普遍的做法是平均池化或最大池化，最大池化更常用。因此这一层池化层可以改进为平均池化或最大池化即可，不用再乘以权重和加上偏置。
3.4 卷积层3
输入：6个14*14的特征图
卷积：卷积层2选取16个5*5的卷积核，步长为1，非全0填充，因此输出图像长宽为(14-5+1)/1=10。
参数：6*(3*5*5+1)+6*(4*5*5+1)+3*(4*5*5+1)+1*(6*5*5+1)=1516
连接数：(3*5*5+1)*6*10*10+(4*5*5+1)*6*10*10+(4*5*5+1)*3*10*10+(6*5*5+1)*1*10*10=151600
输出：16个10*10的特征图
注意：卷积层3的前6个feature map（对应下图第一个红框的6列）与3.3中降采样层的相连3个feature map相连接（下图第一个红框）；之后6个feature map与3.3中降采样层的相连4个feature map相连接（下图第二个红框）；之后3个feature map与3.3中降采样层部分不相连的4个feature map相连接；最后一个feature map与3.3中降采样层的所有feature map相连。
3.5 降采样层4
输入：16个10*10的特征图
参数：16*(1+1)=32
连接数：(2*2+1)*16*5*5=2000
输出：16个5*5的特征图
3.6 卷积层5
输入：16个5*5的特征图
卷积：卷积层5选取120个5*5的卷积核，步长为1，非全0填充，因此输出图像长宽为(5-5+1)/1=1。
参数：120∗(25∗16+1)=48120
连接数：120∗(25∗16+1)=48120
输出：为120个1*1的特征图
注意：总共生成120个feature map，每个feature map与上一层所有的feature map相连接，卷积核大小为5*5，因此共有120∗(25∗16+1)=48120个连接。
3.7 全连接层6
输入：120维的向量
神经元：84个
参数：120*84+84=10164
连接：120*84+84=10164
输出：84维向量
3.8 输出层7
输入：84维向量
神经元：10个
参数：0（由于输出层采用的是径向基函数，所以参数个数为0）
连接数：84*10=840
输出：10（对应10个分类结果）
4. 总结
LeNet5总共5层：3层卷积和2层全连接，池化层未计入层数。参数总数为60000个，而连接数达340908，连接数远远多于参数个数，这主要归功于卷积核的参数共享。
LeNet5是卷积神经网络的开篇大作，稍显复杂、晦涩难懂，或者说与现在的卷积神经网络相比有些绕，但在当年来说是非常了不起的成就，完成了卷积神经网络从无到有的突破。
5. TensorFlow2实现LeNet5
请移步：
实现方案1：TensorFlow2利用MNIST数据集实现LeNet5卷积神经网络模型
6. 参考文献
LeNet5论文原著：Y. Lecun ; L. Bottou ; Y. Bengio ; et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11):2278-2324.