CNN中的卷积层、池化层、全连接层---分析

卷积和池化----自动学习各个层次上的特征;
常见的特征:颜色、亮度;边缘、角点、直线等局部特征;纹理、几何形状等复杂的信息和结构特征;

典型的卷积神经网络:卷积层、下采样池化层、全连接层;

卷积层

1)卷积操作对输入图像进行降维和特征抽取
2)卷积运算是线性操作,而神经网络要拟合的是非线性的函数,因此和前全连接网络类似,我们需要加上激活函数,常用的有 sigmoid 函数,tanh 函数,ReLU 函数等;
3)前部卷积层—小的感受野—捕捉图像局部、细节信息,即输出图像的每个像素(Activation激活值)只是感受到输入图像很小范围数值进行计算的结果;
4)后部卷积层—感受野逐层加大—用于捕获图像更复杂,更抽象的信息;
5)经过多个卷积层的运算,最后得到图像在各个 不同尺度的抽象表示;
6)无论输入图片多大,卷积层的参数规模都是固定的;

池化层

1)卷积操作—完成了对输入图像的降维和特征抽取—但特征图像的维数还是很高;
2)维数高不仅计算耗时,而且容易导致过拟合—为此引入了下采样技术,也称为 pooling即池化操作;
3)池化的做法是对图像的某一个区域用一个值代替,如最大值或平均值—最大值(max池化)-非线性函数—均值(均值池化)-线性函数;
4)除了降低图像尺寸之外,下采样带来的另外一个好处是平移、旋转不变性,因为输出值由图像的一片区域计算得到,对于平移和旋转并不敏感;
5)池化层作用:

1、降维,缩减模型大小,提高计算速度
2、降低过拟合概率,提升特征提取鲁棒性
3、对平移和旋转不敏感

6)池化层的具体实现—卷积之后对特征图像进行分块,图像被划分成不相交块,计算块内最大值or平均值,得到池化后图像;
7)ResNet和GoogleNet都是采用的全局均值池化(GAP);

全连接层

1)可不用此层—在卷积神经网络中起“分类器”的作用;
2)卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话------全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用;
3)实际应用中—全连接层可由卷积操作实现;

1、前层是全连接的全连接层可以转化为卷积核为1x1的卷积;
2、前层是卷积层的全连接层可以转化为卷积核为hxw的全局卷积,h和w分别为前层卷积结果的高和宽;

4)缺点—全连接层参数冗余(占整个网络参数80%)—用GAP代替FC来融合学到的深度特征(通常有较好的预测性能)—最后仍用softmax等损失函数作为网络目标函数来指导学习过程;
5)全连接—矩阵乘法—特征空间变换、把前面所有有用的信息提取整合、加上激活函数的非线性映射—多层全连接层理论上可以模拟任何非线性变换、缺点—无法保持空间结构;
6)全连接的作用—维度变换、高维变到低维,把有用的信息保留下来;全连接的另一个作用—隐含语义的表达,把原始特征映射到各个隐语义节点;最后一层全连接----分类的显示表达;
7)GAP优点----减少了参数的数量(很好的压缩模型的大小)----因减少了参数数量,可以很好的减轻过拟合;
8)缺点:全连接层的坏处在于会破坏图像的空间结构;
9)不包含全连接的CNN—全卷积神经网络(FCN)—最初用于图像分割;

助力理解

1)卷积–提取局部特征、全连接–把以前的局部特征重新通过权值矩阵组装成完整的图;
2)假设你是一只小蚂蚁,你的任务是找小面包。你的视野还比较窄,只能看到很小一片区域。当你找到一片小面包之后,你不知道你找到的是不是全部的小面包,所以你们全部的蚂蚁开了个会,把所有的小面包都拿出来分享了。全连接层就是这个蚂蚁大会;

参考链接:https://blog.csdn.net/zfjBIT/article/details/88075569

你可能感兴趣的:(卷积神经网络)