图像分类网络结构（Backbone）---持续更新

一、LeNet

1 基本信息

作者：Yann LeCun，1998
论文：Gradient-Based Learning Applied to Document Recognition
应用：手写数字识别，LeNet-5
代码链接：https://blog.csdn.net/weixin_47166032/article/details/124483718；
https://blog.csdn.net/beilizhang/article/details/114483822?utm_medium=distribute.pc_relevant.none-task-blog-2_defaultbaidujs_baidulandingword~default-1-114483822-blog-124483718.pc_relevant_sortByStrongTime&spm=1001.2101.3001.4242.2&utm_relevant_index=4
转载参考资料：[https://blog.csdn.net/qq_33604695/article/details/90180741]
(https://blog.csdn.net/qq_33604695/article/details/90180741)

2 网络结构/原理

2.1 结构

组成：卷积层、池化层、全连接层。
（0）输入层——32x32尺寸图像
（1）C1——卷积层1
（2）S2——池化层1
（3）C3——卷积层2
（4）S4——池化层2
（5）C5——全连接层1
（6）F6——全连接层2
（7）输出层——全连接层2

2.2 原理

（0）输入层：灰度图归一化为32x32像素（图像尺寸）；
（1）C1——卷积层1
卷积核：5x5x6，s=1；
输出特征图（feature map）尺寸：（32-5+2x0）/1+1=28，28x28；
输出神经元数目：28x28x6；
可训练参数：（5x5+1）x6（每个卷积核5x5个参数，另加一个偏置（bias）参数，一共6个卷积核 ）；
连接数:（5x5+1）x28x28x6=122304 ;
（2）S2——池化层1
输入：28x28x6的特征图；
池化窗口（池化核）大小：2x2；
池化采样个数：6 ；
池化方式：4（2x2网格）个单元相加，乘以一个比例（可训练参数），再加上一个bias（可训练参数），然后结果进行sigmoid映射 ；
输出特征图尺寸：14x14（长宽各减半）；
输出神经元的数量：14x14x6 ；
可训练参数：（1+1) x 6（池化核的比例、bias）；
连接数:（2x2+1）x14x14x6 ;
（3）C3——卷积层2
输入为S2输出的6通道featuremap
卷积核大小：5x5（卷积核每次滑动一个像素stride=1）
卷积核个数：16
输出featuremap尺寸：10x10 （由14-5+1得来）
输出神经元的数量：10x10x6
可训练参数/连接数：需考虑如下的组合方式
原文中对C3的说明：

其中横坐标为C3的16个featuremap，纵坐标为上一层S2的6个featuremap。通过对S2中featuremap不用组合的卷积组合，卷积得到16个featuremap。
0-5的6个特征图，通过S2相邻的3个featuremap组合得到；
6-11的6个特征图，通过S2相邻的4个featuremap组合得到；
12-14的3个特征图，通过S2不相邻的4个featuremap组合得到；
15的1个特征图，通过S2的全部6个featuremap组合得到。
  注：卷积核的厚度=被卷积的图像的通道数
    卷积核的个数=卷积操作后输出的通道数
（4）S4——池化层2
S4同S2相似，池化核个数增加到16
输出featuremap尺寸：5x5（长宽各减半）
输出神经元的数量：5x5x16
可训练参数：（1+1) xx16（池化核的比例、bias）
连接数（2x2+1）x5x5x16
（5）C5——全连接层1（卷积层）
输入为S4输出的16通道featuremap
卷积核大小：5x5
卷积核种类：120
输出featuremap尺寸：1x1
可训练参数：（5x5x16+1）x120
（6）F6——全连接层2：
输入：120维向量；
节点数：84；
计算方式：计算输入向量和权重向量之间的点积，再加上一个偏置，结果通过sigmoid函数输出
训练参数/连接数：（120+1）x84
（7）输出层——全连接层2
节点数：10（代表数字0-9）
连接方式：径向基函数 Euclidean Radial Basis Function （RBF）
训练参数/连接数：84x10