经典CNN结构之LeNet5 开山鼻祖

序言

英文水平高的老铁们，建议直接阅读大神论文原作。
论文传送门《Gradient-Based Learning Applied to Document Recognition》by
YANN LECUN，点击下载英文论文。

网络结构

图解

详解

此卷积神经网络结构中，去除输入和输出层，总计6层；如果在去除展平输出节点的全连接层，实质性层次有5层。
每层的训练参数数量计算和网络节点数量计算，见下图表格中所示。
如有疑问，欢迎在文章评论区留言，共同交流，以便相互学习提高。


LeNet5虽然结构简单，一眼可解，但是，也有mark point。
LeNet5结构中最复杂的，不按常理出牌的，当属S2到C3层的结构设计，其连接设计如下图所示。

由此，可得表单中红色部分注明的计算结果。
具体逻辑参见原论文中该部分的描述。

As in classical NN’s, units in layers up to F6 compute a dot product between their input vector and their weight vector, to which a bias is added. This weighted sum, denoted for unit is then passed through a sigmoid squashing function to produce the state of unit denoted by xi.
F6计算输入向量和权重向量的点积，再加上偏置项。结果经过sigmoid函数后产生输出标记符号xi的状态值。即：
xi=f(ai)

The squashing function is a scaled hyperbolic tangent.
本文中F6层采用了正切函数作为sigmoid squashing函数，计算公式为：
f(a)=Atanh(Sa)

Finally, the output layer is composed of Euclidean RBF units, one for each class, with 84 inputs each. The outputs of each RBF unit is computed as follows:
最后，输出层采用了RBF函数，即径向欧式距离函数，计算公式为：
yi=SUMj(xj-wij)^2

创新思想

核心点

卷积网络
降采样
全连接
表征能力
损失函数

感悟点

[1]大江向东流，苍天饶过谁？

[2]开山有鼻祖，AI看上图！
[3]从1998到2018，《舌尖上的中国》有云“剩下的都交给时间吧”
图灵奖-历年得主https://amturing.acm.org/byyear.cfm
[4]卷积神经网络之父，也是站在导师Geoffrey Hinton反向传播算法的肩膀上！

参考资料

1. Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner. “Gradient-based learning applied to document recognition.” Proceedings of the IEEE, 86(11):2278-2324, November 1998.go to the paper
2. 卷积神经网络 LeNet-5各层参数详解，转到简书浏览此文
3. 深度学习 — 卷积神经网络CNN（LeNet-5网络学习算法详解），转到CSDN浏览此文
4. 大佬个人网站【http://yann.lecun.com/index.html】