记CNN-局部连接

为什么要使用CNN?

传统的网络在数据的处理上具有一个致命的缺点:可扩展性差。

在应对图像，视频数据的处理时，假设输入的大小是一个1000*1000*3的RGB图像，那么输入层是由3*10⁶个神经元组成，假设(实际上也大致应该)隐藏层同样由3*10⁶个神经元构成,那么对于全连接层的前馈网络来说，权重矩阵一共有3*10⁶*3*10⁶=9*10¹²个参数，而这还是没有计算后面更多的隐藏层的结果，显然，参数的训练过程会变的及其耗时。

所以，卷积层的设计初衷是为了减少参数训练量，提高训练效率，由此引出局部连接，而不是全连接。

局部连接的依据?

来自于对大脑处理数据的机制研究，据Hubel和Wiesel的研究表明，人的视觉系统在处理外部世界的输入时，不同的细胞对输入的不同部分具有不同的敏感性，例如某些细胞对颜色数据敏感但对运动数据较弱，这种处理方式带有局部性，外部输入数据的某些特征只受到一些重要的细胞感知影响，得到一个局部值，所以人的感知系统是对多个信息处理的局部整合达到全局的效果。
对应到CNN对于图像，视频等高纬度的输入数据处理，由大脑的局部感知野机制，图像的空间联系也是局部的像素联系较为紧密，一般来说距离较近的像素相关性较强，较远的相对较弱，因此，具体来说，每个神经元其实并没有必要宇所有的神经元相连，构造卷积层时每一个神经元只需要与上一层的部分神经元相连，这种方法也称为局部感知或局部连接。从而提升网络的训练效率。
全连接层(图片来源于网络)

局部连接(图片来源于网络)