卷积神经网络（CNN）特点之局部连接

1 引言

卷积神经网络（Convolutional Neural Network,CNN）具有四个特点：局部连接、权值共享、池化操作及多层结构。其局部连接是相对于多层感知机（Multilayer Perceptron,MLP）的全连接特点说的。所以要介绍局部连接，我们首先要先提一下多层感知机，之后再引入CNN局部连接的原理，及具体表现。

2 多层感知机

多层感知机（Multilayer Perceptron,MLP）是由输入层、隐含层（一层或多层）及输出层构成的神经网络模型，可以解决单层感知器不能解决的线性不可分问题。下面是含有2个隐含层的多层感知器网络拓扑结构图。

可以发现，输入层神经元接收输入信号，隐含层和输出层的每一个神经元与之相邻层的所有神经元连接，即全连接。
在深度学习研究中，可以了解到，深层神经网络更具有特征学习，抽象表达能力。但在多层感知机中，由于全连接的特性，且每个连接都有一个连接权值需要训练。所以在实际应用中，受到参数学习效率影响，多层感知机一般是不超过3层隐含层的浅层模型。也因此，其模型表达能力受限。

3 CNN

1962年,生 物 学 家 Hubel和 Wiesel通过对猫脑视觉皮层的研究,发现在视觉皮层中存在一系列复杂构造的细胞，这些细胞对视觉输入空间的局部区域很敏感，它们被称为“感受野”．感受野以某种方式覆盖整个视觉域，它在输入空间中起局部作用，因而能够更好地挖掘出存在于自然图像中强烈的局部空间相关性．
根据Hubel-Wiesel的层级模型，在该层级
结构中，处于较高阶段的细胞通常会有这样一个倾向：选择性地响应刺激模式更复杂的特征；同时还具有一个更大的感受野，对刺激模式位置的变化更加不敏感。
在多层感知机中，高层的每一个神经元要与前一层的所有神经元建立联系（特征关系），而根据感受野从局部到全局的理论，人对外界的认知是从局部到全局的，图像的空间联系也是局部间的像素联系较为紧密，与距离较远的像素相关性较低。因而，每个神经元其实没必要对全局图像进行感知，只需要局部抓取特征，然后在更高层将局部信息综合达到全局特征概括即可。
CNN网络部分连通受启发于生物学视觉系统结构，神经元只响应某些特定区域的刺激（视觉皮层的神经元局部接受信息），即在卷积层，特征面的每个通过卷积核（一组权值）与上一层特征面的局部区域连接。即卷积层中的神经元与其输入层中的特征面进行局部连接。

3.1 图像上卷积

理解卷积层计算过程，能很好的帮助理解局部连接特点。下面大部分内容有博主已经总结的很好，对于不足之处，我在博主内容基础上稍加修正。
来源于：https://blog.csdn.net/v_JULY_v/article/details/51812459。

在下图对应的计算过程中，输入是一定区域大小(width*height)的数据，和滤波器filter（带着一组固定权重的神经元）做内积后等到新的二维数据。
具体来说，左边是图像输入，中间部分就是滤波器filter（带着一组固定权重的神经元），不同的滤波器filter会得到不同的输出数据，比如颜色深浅、轮廓。相当于如果想提取图像的不同特征，则用不同的滤波器filter，提取想要的关于图像的特定信息：颜色深浅或轮廓。

如下图所示

3.1.1 动态卷积图

在CNN中，滤波器filter（带着一组固定权重的神经元）对局部输入数据进行卷积计算。每计算完一个数据窗口内的局部数据后，数据窗口不断平移滑动，直到计算完所有数据。这个过程中，有这么几个参数：
　　a. 深度depth：特征面（Feature Map）个数，同时代表滤波器个数，决定输出的depth厚度。（卷积层由多个特征面组成，每个特征面由多个神经元组成，它的每个神经元通过卷积核与上一层特征面的局部区域相连。）
　　b. 步长stride：决定滑动多少步可以到边缘。
　　c. 填充值zero-padding：在外围边缘补充若干圈0，方便从初始位置以步长为单位可以刚好滑倒末尾位置，通俗地讲就是为了总长能被步长整除。
　　
　
cs231n课程中有一张卷积动图，貌似是用d3js 和一个util 画的，我根据cs231n的卷积动图依次截取了18张图，然后用一gif 制图工具制作了一gif 动态卷积图。如下gif 图所示
输入是（773中，7*7代表图像的像素/长宽，3代表R、G、B 三个颜色通道）

可以发现，对于单层特征面来说，数据窗口滑动，输入值在变化，但中间滤波器的窗口权重
是固定不变的。这个权重不变即是CNN中参数（权重）共享特点。

参考

卷积神经网络研究综述_周飞燕
卷积神经网络CNN（3）—局部连接
CNN笔记：通俗理解卷积神经网络