神经网络系列（一）--LeNet5解析
文章目录
-
- 一、简介
- 二、网络架构
-
- 1. 组成部分
- 2. 各层详解
- 三、总结
一、简介
LeNet是卷积神经网络的祖师爷LeCun在1998年提出，用于解决手写数字识别的视觉任务。当年美国大多数银行就是用它来识别支票上面的手写数字的，它是早期卷积神经网络中最有代表性的实验系统之一，是一种用于手写体字符识别的非常高效的卷积神经网络。 自那时起，CNN的最基本的架构就定下来了：卷积层、池化层、全连接层。
LeNet-5 中的5代表卷积核的尺寸。
二、网络架构
1. 组成部分
可以看到LeNet-5结构 共有7层，其中包括3层卷积层，2层池化层，2层全连接层。
2. 各层详解
1、 INPUT-输入层
接收数据32 * 32 大小的图像数据，此层传统上不算LeNet-5的网络层次结构
2、 C1 卷积层
输入： 32 * 32
卷积核大小： 5 * 5
卷积核个数： 6
输出featuremap大小：28 * 28 （32-5+1）=28
输出数量为：6
连接数：（5 * 5 + 1）* 6 * 28 * 28
对输入图像进行第一次卷积运算（使用 6 个大小为 55 的卷积核），得到6个C1特征图（6个大小为2828的 feature maps, 32-5+1=28）。我们再来看看需要多少个参数，卷积核的大小为55，总共就有6（55+1）=156个参数，其中+1是表示一个核有一个bias。对于卷积层C1，C1内的每个像素都与输入图像中的55个像素和1个bias有连接，所以总共有1562828=122304个连接（connection）。有122304个连接，但是我们只需要学习156个参数，主要是通过权值共享实现的。
C1层共有26x6=156个训练参数，有(5x5+1)x28x28x6=122304个连接
3、 S2 池化层（下采样层）
输入： 28 * 28
采样区域 ： 2 * 2
采样方式：4个输入相加，乘以一个可训练参数，再加上一个可训练偏置，得到结果通过sigmoid 函数
采样种类：6
输出featuremap大小： 14 * 14 （28/2）
输出数量为：6
连接数：（2 * 2 + 1）* 6 * 14 * 14
S2层共有5x6=30个训练参数，有5x14x14x6=5880个连接个连接
4、 C3 卷积层
输入： 14 * 14
卷积核大小： 5 * 5
卷积核个数： 16
输出featuremap大小：10 * 10 （ 14 - 5 + 1）= 10
输出数量为：16
训练参数：6 * ( 3 * 5 * 5 + 1) + 6 * ( 4 * 5 * 5 + 1) + 3 * ( 4 * 5 * 5 + 1 ) + 1 * ( 6 * 5 * 5 + 1)=1516
为什么从6个特征图得到16个特征图？如何理解！
首先从 6 * ( 3 * 5 * 5 + 1) 看
卷积核个数为16， 前6个卷积核分别跟S2对应的相邻的3个特征图做运算
如 0号卷积核跟 0-1-2 特征图做运算 ， 1号卷积核跟 1-2-3 特征图做运算，依次类推…
其次，在第二轮中，
6 * ( 4 * 5 * 5 + 1)
卷积核个数为16， 第二轮6个卷积核分别跟S2对应的相邻的4个特征图做运算
如 0号卷积核跟 0-1-2-3 特征图做运算 ， 1号卷积核跟 1-2-3-4 特征图做运算，依次类推…
依次类推…
最后得到 151600个连接数
5、 S4 池化层（下采样层）
输入： 10 * 10
采样区域 ： 2 * 2
采样方式：4个输入相加，乘以一个可训练参数，再加上一个可训练偏置，得到结果通过sigmoid 函数
采样种类：16
输出featuremap大小： 5 * 5 （10/2）
输出数量为：16
连接数：16 * 5 * 5
S2层共有5x16=90个训练参数，有5x14x14x6=5880个连接个连接
6、 C5 卷积层
输入： 5 * 5
卷积核大小： 5 * 5
卷积核个数： 120
输出featuremap大小：1 * 1 （5-5+1）=1
输出数量为：120
连接数：120 *（16 * 5 * 5 + 1）=48120
7、 F6 全连接层
输入：c5 120维向量
计算方式：计算输入向量和权重向量之间的点积，再加上一个偏置，结果通过sigmoid函数输出。
F6层是全连接层。F6层有84个节点，对应于一个7x12的比特图，该层的训练参数和连接数都是(120 + 1)x84=10164
8、 Output 层-全连接层
Output层也是全连接层，共有10个节点，分别代表数字0到9，如果节点i的输出值为0，则网络识别的结果是数字i。采用的是径向基函数（RBF）的网络连接方式。假设x是上一层的输入，y是RBF的输出，则RBF输出的计算方式是：
yi的值由i的比特图编码（即参数Wij）确定。yi越接近于0，则标明输入越接近于i的比特图编码，表示当前网络输入的识别结果是字符i。该层有84x10=840个设定的参数和连接。
以上是LeNet-5的卷积神经网络的完整结构，共约有60,840个训练参数，340,908个连接。一个数字识别的效果如图所示：
三、总结
- LeNet-5 输出了深度神经网络的标准样式（卷积层、池化层、全连接层）
- LeNet-5 是作为手写字符识别比较高效的神经网络
python实现mnist-LeNet5预测代码