(1980)Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition...

这篇论文是现代CNN网络的鼻祖。

1. 引言

人类对大脑中模式识别的机制知之甚少，想要通过传统的生理学实验来揭露它（模型识别机制）似乎也不太可能。其中最著名的实验是Hubel和Wiesel在上世纪50年代做的猫的视觉皮层相关实验。研究人员们提出了许多神经网络模型，试图模型大脑中的神经系统，用于视觉模式识别（visual pattern recognition）。

这篇论文之前，已提出的神经网络模型的输出响应（response）严重地受到输入模式（input patterns，比如图像）中位置平移（shift in position）和形状畸变（distortion in shape）的影响，这些模型的泛化性能普遍不高。

这篇论文中，作者提出了一个改进的神经网络模型，称为神经认知机（Neocognitron），该模型是作者在1975年提出的称为认知机（Cognitron）的多层神经网络模型基础上的扩展。据说该模型受到了脊椎动物的视觉神经系统的影响。重点是该模型具有位置特征的平移不变性，而且对形状的轻微畸变不敏感。

根据Hubel和Wiesel发现的层级模型（hierarchy model），大脑视觉皮层中的神经网络是一个层级架构，即从低级细胞-->高级细胞。越高级的细胞选择性地响应输入模式中越复杂的特征，同时拥有更大的感受野（receptive field），而且对输入模式中的位置平移越不敏感。

2. 网络结构

待续。。。