卷积层、池化层等作用

卷积层作用：

1、局部连接：卷积神经网络有两种神器可以降低参数数目，第一种神器叫做局部感知野。一般认为人对外界的认知是从局部到全局的，而图像的空间联系也是局部的像素联系较为紧密，而距离较远的像素相关性则较弱。因而，每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信息。网络部分连通的思想，也是受启发于生物学里面的视觉系统结构。视觉皮层的神经元就是局部接受信息的（即这些神经元只响应某些特定区域的刺激）。
2、权重共享：看成是提取特征的方式，该方式与位置无关。这其中隐含的原理则是：图像的一部分的统计特性与其他部分是一样的。这也意味着我们在这一部分学习的特征也能用在另一部分上，所以对于这个图像上的所有位置，我们都能使用同样的学习特征。更直观一些，当从一个大尺寸图像中随机选取一小块，比如说 8×8 作为样本，并且从这个小块样本中学习到了一些特征，这时我们可以把从这个 8×8 样本中学习到的特征作为探测器，应用到这个图像的任意地方中去。特别是，我们可以用从 8×8 样本中所学习到的特征跟原本的大尺寸图像作卷积，从而对这个大尺寸图像上的任一位置获得一个不同特征的激活值。（卷积核决定输出通道）

池化层作用：

Pooling层是模仿人的视觉系统对数据进行降维，其本质是降维。在卷积层之后，通过池化来降低卷积层输出的特征维度，减少网络参数和计算成本的同时，降低过拟合现象。
1、保留有用信息，丢弃无用信息。主要减少过拟合，加快运行速度。
2、降低特征维度，网络中的参数和计算的数量更加可控的降低；
3、使网络对于输入图像中更小的变化、冗余和变换变得不变性；协助获取图像最大程度上的尺度不变性。
4、可以扩大感知野。

池化方法特征提取误差主要来自两个部分：一是，邻域大小受限造成了估计值方差增大；二是，卷积层参数误差造成了估计均值的偏移。一般来说，在图像研究领域，对图像进行平均池化操作能减少第一种误差，同时更多地保留图像的背景信息；而另一方面，最大池化能减小第二种误差，更多地保留纹理信息。因此在进行卷积神经网络结构设计时，这两种池化方式往往交替使用

池化和卷积的主要区别在于池化是每个通道做一个池化，但是并不会去进行通道的融合，而卷积是会进行多通道融合的。池化层和卷积层一样有一组超参数（窗口大小、填充和步幅），但反向传播中并没有参数需要学习。池化层只是计算神经网络某一层的静态属性，用于缓解卷积层对位置的敏感性、减小参数量。对于给定输入元素，最大池化层会输出该窗口内的最大值，平均池化层会输出该窗口内的平均值。池化层的主要优点之一是减轻卷积层对位置的过度敏感。我们可以指定池化层的填充和步幅，使用最大池化层以及大于1的步幅，可减少空间维度（如高度和宽度）。池化层的输出通道数与输入通道数相同。

激活层作用：

主要作用是加入非线性因素的，将特征映射到高维的非线性区间进行解释，解决线性模型所不能解决的问题。

全连接层：

整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为1x1的卷积；而前层是卷积层的全连接层可以转化为卷积核为hxw的全局卷积，h和w分别为前层卷积结果的高和宽