笔记三：卷积层相较于全连接层的优势

卷积层相较于全连接层的优势

参数计算量小

说明：如图所示，如果将32x32x3的单元进行全连接得到28x28x6的单元，所需要的参数量如图所示大约需要14 million;但是若是经过如图所示的卷积计算需要的参数为(5x5+1)x6=156个参数。大大减小了训练过程中的参数训练数量。

卷积神经网络卷积层保证参数少的原因

权值共享–Parameter sharing

1. 根据吴恩达老师所说：对于如图6x6的单元来说，如果对其使用如图3x3的特征检测器进行特征提取，如果该特征检测器适用于图片的某个区域，则该特征检测器也适用图片的其他区域。举例说明：假设3x3的特征检测器是一个垂直特征检测器，则其对6x6的单元在左上角进行垂直特征的提取，那么其在其他区域也应该相应的能够提取到垂直特征。
2. 根据1中所阐述的过程，也就是说：该特征检测器可以在整个6x6的单元中进行普遍使用，即所说的权值共享

稀疏连接–Sparsity of Connections

1. 如上图绿色(红色)部分显示：输出特征单元(4x4单元)绿色(红色)圈出部分的计算只和输入特征单元(6x6单元)的绿(红)色斜线覆盖的单元中的9个特征值相关,换句话说，即与这9个特征值进行连接，而和其他的36-9=27个特征值没有任何关系。相比于全连接：其输出特征图中的所有值和输入特征图中的所有值都进行了一个连接，所以说，卷积神经网络中卷积层的卷积运算是一种稀疏连接方式。

总结：

1. 卷积层相较于全连接层需要训练的参数更少，所以神经网络的设计离不开卷积层
2. 卷积层通过参数共享和稀疏连接两种方式来保证单层卷积中的训练参数少
3. 由上，也可以推出：卷积核（即上述所说的特征检测器或者权重）的大小会影响训练参数数量，但相较于全连接来说是小巫见大巫