聊一聊卷积网络开山鼻祖-LeNet

HELLO,LeNet!

HELLO,LeNet!
手写字体识别模型LeNet5诞生于1994年，是最早的卷积神经网络之一。该模型之于CNN卷积网络就像是我们学习编程语言的‘HELLO WORLD’一样。可以说之后的所有的神经网络模型都是在这个大的框架上进行优化得到的。 说它是CNN的开山鼻祖一点不为过。所以，为了更好的学习其他更加先进的网络结构，我们有必要从LeNet-5开始入手。

第一层-卷积层

阅读前的说明，输入层不计入考虑范围，即第一层卷积层就是上图的C1

对卷积层的补充说明：

参数数量
1，由于参数（权值）共享的原因，对于同个卷积核每个神经元均使用相同的参数，因此，参数个数为（5×5+1）×6= 156，其中5×5为卷积核参数，1为偏置参数

连接数量
2，卷积后的图像大小为28×28，因此每个特征图有28×28个神经元，每个卷积核参数为（5×5+1）×6，因此，该层的连接数为（5×5+1）×6×28×28=122304 （卷积计算可以看做输入的图像和卷积核进行的全连接）

第二层-池化层

对池化层的补充说明
池化层的目的就是为了进一步捕捉特征，减小整体的数据量。

参数
每个池化层参与连接的参数数量是2x2+1=5

连接数
池化之后的图像大小为14×14，因此池化层的每个特征图有14×14个神经元，每个池化单元连接数为2×2+1（1为偏置量），因此，该层的连接数为（2×2+1）×14×14×6 = 5880

第三层-卷积层

针对这一层的一些补充说明
上图下面的表里面，‘X’符号表示的是第三层卷积层的某个特征图与第二层的某个特征图存在着连接关系。举个栗子，比如第三层的第一个特征图（这里的0代表第一个，1代表第二个，以此类推，本段后面的数字代表方式以此为准）与第二层的第一个、第二个以及第三个特征图都存在着连接关系。

上面表里，横坐标代表第三层的各个特征图序列，纵坐标代表第二层各个特征图序列。
参数数量
现在我们来计算第三层与第二层总共存在多少参数：
这里还是以第三层第一个特征图与第二层的前三个特征图相连接为例，其中涉及到的参数为：5x5x3+1
以此类推，上表中涉及到的参数总共为**（5×5×3+1）×6 +（5×5×4+1）×9 +5×5×6+1 = 1516**

连接数
卷积后的特征图大小为10×10，参数数量为1516，因此连接数为1516×10×10= 151600
（思考一下为什么是1516x10x10？）

第四层-池化层

第五层-卷积层

一点补充说明
参数数量
与前面的分析类似，本层的参数数目为120×（5×5×16+1） = 48120

连接数
由于该层的特征图大小刚好为1×1，因此连接数为48120×1×1=48120

第六层-全连接层

这一层是全连接层，有84个神经元，与第五层构成全连接关系，所以连接数与参数均为（120+1）x84=10164个。

第七层-输出层

最后一层为输出层，也是一个全连接层，共有10个单元。这10个单元分别代表数字0-9.判断标准是，如果某个单元输出为0（或非常接近），那么这个单元在本层中的位置就是网络识别得出的数字。产生这样的输出是因为本层单元计算的径向基函数：
$y_i={\sum }_j(x-w_{i,j}{)}^2$
RBF的计算和第$i$个数字的比特图编码有关。对于第$i$个单元，$y_i$的值越接近0，则表示越接近第$i$个数字的比特图编码，也就是当前网络输入的识别结果是第$i$个数字。最后，该层有84x10个参数和连接。