CNN图像分类模型（一）——LeNet

一）简介

  LeNet-5是一种用于手写体字符识别的非常高效的卷积神经网络，自论文Gradient-Based Learning Applied to Document Recognition,由Yann LeCun等人于1998年发表。LeNet模型虽然结构相对简单，但包含了深度学习的基本模块——卷积层，池化层，全链接层，是后续各类CNN识别模型的基础。

二）LeNet模型简介

LeNet-5网络结构

如图所示为LeNet-5网络的基本结构，一共由7层（不包含输入层）：
  0）输入层——32x32尺寸图像
  1）C1——卷积层1
  2）S2——池化层1
  3）C3——卷积层2
  4）S4——池化层2
  5）C5——全连接层1
  6）F6——全连接层2
  7）输出层——全连接层2

2.1）输入图像

  首先是图像输入层，输入灰度图像的尺寸归一化为32*32像素。

2.2）卷积层C1

  卷积核大小：5x5（卷积核每次滑动一个像素，即stride=1）
  卷积核个数：6
  输出featuremap尺寸：28x28 （由32-5+1得来）
  输出神经元的数量：28x28x6
  可训练参数：（5x5+1) x 6（每个卷积核5x5个参数，另加一个bias参数，一共6个卷积核）
  连接数（5x5+1）x28x28x6=122304

2.3）池化层S2

  输入：C1输出的6通道featuremap(28x28x6)
  池化窗口： 2x2
  池化采样个数：6
  池化方式：4个单元相加，乘以一个可训练参数，再加上一个bias，然后结果进行sigmoid映射
  输出featuremap尺寸：14x14（长宽各减半）
  输出神经元的数量：14x14x6
  可训练参数：（1+1) x 6（池化核的比例、bias）
  连接数（2x2+1）x14x14x6

2.4）卷积层C3

  输入为S2输出的6通道featuremap
  卷积核大小：5x5（卷积核每次滑动一个像素stride=1）
  卷积核个数：16
  输出featuremap尺寸：10x10 （由14-5+1得来）
  输出神经元的数量：10x10x6
  可训练参数/连接数：需考虑如下的组合方式
  原文中对C3的说明：

  其中横坐标为C3的16个featuremap，纵坐标为上一层S2的6个featuremap。通过对S2中featuremap不用组合的卷积组合，卷积得到16个featuremap。
  0-5的6个特征图，通过S2相邻的3个featuremap组合得到；
  6-11的6个特征图，通过S2相邻的4个featuremap组合得到；
  12-14的3个特征图，通过S2不相邻的4个featuremap组合得到；
  15的1个特征图，通过S2的全部6个featuremap组合得到。
  注：卷积核的厚度=被卷积的图像的通道数
    卷积核的个数=卷积操作后输出的通道数

2.5）池化层S4

  S4同S2相似，池化核个数增加到16
  输出featuremap尺寸：5x5（长宽各减半）
  输出神经元的数量：5x5x16
  可训练参数：（1+1) x 16（池化核的比例、bias）
  连接数（2x2+1）x5x5x16

2.6）全连接层C5（卷积层）

  输入为S4输出的16通道featuremap
  卷积核大小：5x5
  卷积核种类：120
  输出featuremap尺寸：1x1
  可训练参数：（5x5x16+1）x120

2.7）全连接层F6

  输入：120维向量
  节点数：84
  计算方式：计算输入向量和权重向量之间的点积，再加上一个偏置，结果通过sigmoid函数输出
  训练参数/连接数：（120+1）x84

2.8）全连接层G7（输出层）

  节点数：10（代表数字0-9）
  连接方式：径向基函数 Euclidean Radial Basis Function （RBF）
  训练参数/连接数：84x10

三）总结

  关于LeNet模型，Tensorflow教程中的MNIST数据集是一个很好的练手选择。