lenet-5的理解

lenet-5是卷积神经网络的一种典型的网络结构。以下试图解释以下该网络结构。

卷积公式如下：

首先，输入是一张图片，这张图片是32*32的。。
然后用6个5*5的卷积核，于是就有了C1，变成了6个28*28的feature maps。其中，C1中的每个像素与前一层的5*5个像素相连接，所以共有6(5*5+1)=156个参数，其中，6是指feature maps个数，28*28是像素，5*5是卷积核大小，1是bias。
然后resampling，作用跟pooling一样，对feature maps里的每一个feature map进行池化，这里用的是对每一个2*2方格里操作并得到一个数，于是得到了S2。S2的每一个像素与C1的一个2*2方格相连接，共有6*14*14*（2*2+1）=5880个连接。有（1*1+1）*6=12个参数。
然后就到了最复杂的S2->C3了，这一层的卷积核都是5*5的，这一层的卷积的过程是，首先，用三个相连的S2中的feature map相连接，这样的过程可以做6次。然后用4个相连的feature map相连接，这样的过程也可以做4次。然后再用4个不相连（其中，4个由两个 两个相连的组成）的相连接，这样的过程可以做5次。最后，再用S2的6个进行相连接，这样的过程可以做1次。以上，每次可以产生一个新的feature map。于是，就有了6+4+5+1=16个新的feature map，并且都是10*10的。C3的有6个feature maps与其中S2的3个相连接，就有6*（3*5*5+1）=456，有9个与S2的4个相连接，就有9（4*5*5+1）=909个，1个与S2的6个相连接，就有1（6*5*5+1）=151，加起来共有1516个参数。

然后就是把C3的进行池化，也是对2* 2的方格进行操作，得到S4，变成了16个5*5的的feature map。就有16*5*5*（2*2+1）=2000个连接。共有（1+1）*16=32个参数。
然后，用120个卷积核对S4的所有feature maps进行全连接，卷积核大小为5*5，于是就得到120个点，也就是120个数字。C5是卷积层，就有120*1*（16*5*5+1）=48120个参数。
然后再对120个进行全连接，搞84次，就变成了F6.就有84*（120+1）=10164个参数。
最后再用高斯连接，变成10个输出。

参考：http://blog.csdn.net/xuanyuansen/article/details/41800721