CNN中的卷积层、池化层、全连接层---分析

卷积和池化----自动学习各个层次上的特征；
常见的特征：颜色、亮度；边缘、角点、直线等局部特征；纹理、几何形状等复杂的信息和结构特征；

典型的卷积神经网络：卷积层、下采样池化层、全连接层；

卷积层

1）卷积操作对输入图像进行降维和特征抽取
2）卷积运算是线性操作，而神经网络要拟合的是非线性的函数，因此和前全连接网络类似，我们需要加上激活函数，常用的有 sigmoid 函数，tanh 函数，ReLU 函数等；
3）前部卷积层—小的感受野—捕捉图像局部、细节信息，即输出图像的每个像素（Activation激活值）只是感受到输入图像很小范围数值进行计算的结果；
4）后部卷积层—感受野逐层加大—用于捕获图像更复杂，更抽象的信息；
5）经过多个卷积层的运算，最后得到图像在各个 不同尺度的抽象表示；
6）无论输入图片多大，卷积层的参数规模都是固定的；

池化层

1）卷积操作—完成了对输入图像的降维和特征抽取—但特征图像的维数还是很高；
2）维数高不仅计算耗时，而且容易导致过拟合—为此引入了下采样技术，也称为 pooling即池化操作；
3）池化的做法是对图像的某一个区域用一个值代替，如最大值或平均值—最大值(max池化)-非线性函数—均值(均值池化)-线性函数；
4）除了降低图像尺寸之外，下采样带来的另外一个好处是平移、旋转不变性，因为输出值由图像的一片区域计算得到，对于平移和旋转并不敏感；
5）池化层作用：

1、降维，缩减模型大小，提高计算速度
2、降低过拟合概率，提升特征提取鲁棒性
3、对平移和旋转不敏感

6）池化层的具体实现—卷积之后对特征图像进行分块，图像被划分成不相交块，计算块内最大值or平均值，得到池化后图像；
7）ResNet和GoogleNet都是采用的全局均值池化(GAP)；

全连接层

1）可不用此层—在卷积神经网络中起“分类器”的作用；
2）卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话------全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用；
3）实际应用中—全连接层可由卷积操作实现；

1、前层是全连接的全连接层可以转化为卷积核为1x1的卷积；
2、前层是卷积层的全连接层可以转化为卷积核为hxw的全局卷积，h和w分别为前层卷积结果的高和宽；

4）缺点—全连接层参数冗余(占整个网络参数80%)—用GAP代替FC来融合学到的深度特征(通常有较好的预测性能)—最后仍用softmax等损失函数作为网络目标函数来指导学习过程；
5）全连接—矩阵乘法—特征空间变换、把前面所有有用的信息提取整合、加上激活函数的非线性映射—多层全连接层理论上可以模拟任何非线性变换、缺点—无法保持空间结构；
6）全连接的作用—维度变换、高维变到低维，把有用的信息保留下来；全连接的另一个作用—隐含语义的表达，把原始特征映射到各个隐语义节点；最后一层全连接----分类的显示表达；
7）GAP优点----减少了参数的数量(很好的压缩模型的大小)----因减少了参数数量，可以很好的减轻过拟合；
8）缺点：全连接层的坏处在于会破坏图像的空间结构；
9）不包含全连接的CNN—全卷积神经网络(FCN)—最初用于图像分割；

助力理解

1）卷积–提取局部特征、全连接–把以前的局部特征重新通过权值矩阵组装成完整的图；
2）假设你是一只小蚂蚁，你的任务是找小面包。你的视野还比较窄，只能看到很小一片区域。当你找到一片小面包之后，你不知道你找到的是不是全部的小面包，所以你们全部的蚂蚁开了个会，把所有的小面包都拿出来分享了。全连接层就是这个蚂蚁大会；

参考链接：https://blog.csdn.net/zfjBIT/article/details/88075569