卷积神经网络Convolutional Neural Networks（CNN）

数字图像处理中我们用卷积模板和原始图像的像素卷积。过程如下：

Step 1、先将模板旋转180度（又称折叠）

Step 2、然后让模板依次和原始图像重叠，并且计算重叠部分的数值乘积之和，以2D为例

先对模板K做折叠，然后依次覆盖图像I，并且计算重叠部分的数值乘积之和

BP网络每一层节点是一个线性的一维排列状态，层与层的网络节点之间是全连接的。这样设想一下，如果BP网络中层与层之间的节点连接不再是全连接，而是局部连接的。这样，就是一种最简单的一维卷积网络。如果我们把上述这个思路扩展到二维，这就是我们在大多数参考资料上看到的卷积神经网络。具体参看下图：

     图1：全连接的2D 网络（BP网络）           图2：局部连接的2D网络（卷积网络）

现在我们考虑单隐层结构，

上图左：全连接网络。如果我们有1000x1000像素的图像，有1百万个隐层神经元，每个隐层神经元都连接图像的每一个像素点，就有1000x1000x1000000=10^12个连接，也就是10^12个权值参数。

上图右：局部连接网络，每一个节点与上层节点同位置附近10x10的窗口相连接，则1百万个隐层神经元就只有100w乘以100，即10^8个参数。其权值连接个数比原来减少了四个数量级。

因此，卷积网络降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。