《机器学习系列教程》神经网络的入门级算法

第四章 经典网络

4.1 LetNet5

一种典型的用来识别数字的卷积网络是LeNet-5。

4.1.1 模型结构

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QiOLzT7k-1578728255977)(./img/ch4/image1.png)]

4.1.2 模型结构

LeNet-5共有7层，不包含输入，每层都包含可训练参数；每个层有多个Feature Map，每个FeatureMap通过一种卷积滤波器提取输入的一种特征，然后每个FeatureMap有多个神经元。

1. C1层是一个卷积层
   输入图片：32 * 32
   卷积核大小：5 * 5
   卷积核种类：6
   输出featuremap大小：28 * 28 （32-5+1）
   神经元数量：28 * 28 * 6
   可训练参数：（5 * 5+1） * 6（每个滤波器5 * 5=25个unit参数和一个bias参数，一共6个滤波器）
   连接数：（5 * 5+1） * 6 * 28 * 28

2. S2层是一个下采样层
   输入：28 * 28
   采样区域：2 * 2
   采样方式：4个输入相加，乘以一个可训练参数，再加上一个可训练偏置。结果通过sigmoid
   采样种类：6
   输出featureMap大小：14 * 14（28/2）
   神经元数量：14 * 14 * 6
   可训练参数：2 * 6（和的权+偏置）
   连接数：（2 * 2+1） * 6 * 14 * 14
   S2中每个特征图的大小是C1中特征图大小的1/4

3. C3层也是一个卷积层
   输入：S2中所有6个或者几个特征map组合
   卷积核大小：5 * 5
   卷积核种类：16
   输出featureMap大小：10 * 10
   C3中的每个特征map是连接